TGD Builder 0.6: Generierung von TGD-Dateien und epg_upload.ini

[Töppi]

@mvordeme

ich habe deiner Bitte entsprechend das erste Posting angepasst, auch den Download in das erste Posting vorschoben.

[mvordeme]

Ich sehe schon, Du hast mitgedacht. Vielen Dank!

[urmel]

@mvordeme

Vielen Dank für die Arbeit. Ich werde die Neuerungen heute Abend gleich testen. Dann kann ich mir die Editierung wohl doch wieder sparen. Das Cachen der Senderliste fände ich übrigens auch gut.

[vinalic]

[quote=""mvordeme""]Hallo vinalic,

mit dem TGD-Builder geht es, allerdings kannst Du in der Konfiguration nicht direkt die URL angeben, da dort auf die xmltv.dtd verwiesen wird, die aber bei HRT nicht zur Verfügung steht. Du musst also die Datei auf dem Rechner speichern und die (dem Builder beiliegende) xmltv.dtd ins gleiche Verzeichnis kopieren.

Zunächst mal musst Du den TGD-Builder nach Anleitung einrichten und Dir von Deinem Topf die ChannelInfo.csv besorgen. Dann legst Du dir eine Datei HRT.properties als Kopie von xmltv.properties an, kommentierst die Property channelsPath aus und trägst bei eventsPath den (absoluten oder relativen) Pfad der XMLTV-Datei ein, etwa C:/Temp/xmltv.xml. Dann trägst Du in der Datei tgdbuilder.properties HRT als Quelle ein, etwa sources=HRT wenn Du keine anderen Quellen hast. So sollte es gehen. Ob allerdings 3PG mit den ungarischen Sonderzeichen klar kommt, musst Du ausprobieren.

Grüße,
-- mvordeme[/quote]

Vielen Dank mvordeme!
Funktioniert perfekt
Gruß
vinalic

[mvordeme]

Gut. Danke für die Rückmeldung.

Viel Spaß damit,
-- mvordeme

[thensch]

So, jetzt hab ich mich auch mal an diese Umsetzung gewagt.

Ungünstig finde ich schon mal folgendes in der Anleitung:

Vorbereitung
TGD Builder einrichten

* Datei tgdbuilder.zip auspacken
* Werte von sources und target in der Datei tgdbuilder.properties anpassen (siehe unten)
* Für jede Programmquelle muss eine Datei Programmquelle.properties angelegt werden. Vorlagen dafür sind die Dateien xmltv.properties, radiotimes.properties und clickfinder.properties. Je nach Typ der Programmquelle sind noch weitere Vorbereitungen nötig (siehe unten). Wenn man bei sources nur radiotimes stehen lässt, muss nichts weiter angepasst werden.

Also als Vorbereitung source und target anpassen (siehe unten). Wo, wie, warum steht das nicht gleich hier, wenn es zur Vorbereitung gehört? Ich hab das mal übersprungen.

Channelinfo hab ich gemacht. Die Excel Datei importiert und die epgupload.ini erstellt. Nun steht da:

Sender zuordnen

Viele Sender werden vom TGD Builder automatisch zugeordnet. Bei Sendern, die nicht zugeordnet werden konnten, in die Spalte Channel (Source) klicken und den passenden Sender aus der Liste auswählen. Wenn zusätzlich zur Zeitzonenumrechnung nötig, in der Spalte Offset eine Zeitdifferenz in Minuten angeben. Nicht gewünschte Sender können aus der Liste gelöscht werden.

Da werden nur eine Hand voll uninteressanter Sender zugeordnet. Manuell auswählen kann ich da nur ausländliche Sender. Wo sind zB Sat.1 RTL, ...

[mvordeme]

Hallo thensch,

es war wohl etwas voreilig, die Kurzanleitung umzubenennen. Es gab schon Beschwerden, die Kurzanleitung sei zu lang, nur fehlt wohl immer noch die fachliche Einleitung...

Der TGD-Builder ist nichts anderes als ein Konverter, der Programminformationen in ein anderes Format umwandelt. Damit er das kann, benötigt er Programmdaten. Für diese gibt es verschiedene Quellen.

Ein Großteil der Quellen sind zum Beispiel Online-Programmzeitschriften. Um diese "abzuernten" kann man XMLTV verwenden. XMLTV legt die Daten als XML-Dateien auf der Festplatte ab. Diese XML-Dateien kann der TGD-Builder einlesen und in TGD umwandeln. Das Problem mit XMLTV ist, dass es (vermutlich aus rechtlichen Gründen) praktisch keine deutschen Quellen dafür gibt. [post=277045]Weiter oben im Thread[/post] findest Du einen Link auf eine Anleitung, wie man mit XMLTV Daten von TV Today importieren kann.

Eine gute Quelle für die deutschen Fernsehprogramme ist der ClickFinder von TV Movie. ClickFinder speichert die Programminformationen in einer MS-Access-Datenbank auf der Festplatte, die der TGD-Builder einlesen kann. ClickFinder ist für 8 festgelegte Sender mit jeweils 8 Tagen Programmdaten kostenlos. Wenn man mehr möchte, muss man ClickFinder für 13 Euro im Jahr abonnieren.

XMLTV und ClickFinder benötigen also beide weitere Software, die die Quelldaten bereitstellt (im Normalfall - es gibt auch ein paar Online-Quellen für XMLTV-Daten). Das dritte Importformat, das der TGD-Builder einlesen kann, ist das von der englischen Programmzeitschrift RadioTimes bereitgestellte Listenformat. Diese Daten können direkt aus dem Internet eingelesen werden. Allerdings handelt es sich hierbei naturgemäß hauptsächlich um englische Programme und ist wohl nur interessant, wenn man auch Astra 2 empfängt.

Damit der Builder ohne viele Einstellungen schon mal funktioniert, ist (wie Du erlebt hast) eine RadioTimes-Programmquelle voreingestellt. Wenn man andere Quellen nutzen möchte, muss man sich zunächst mal die Programmdaten besorgen. Danach muss man dann für jede zu verwendende Programmquelle eine Datei <Name>.properties anlegen. Vorlagen für die drei Typen von Quellen liegen bei. Außer dem Pfad zu den Programmdaten muss in diesen Vorlagen praktisch nichts verändert werden. Dann muss man nur noch der Eigenschaft sources in den tgdbuilder.properties eine Liste mit den gewählten Namen aller Programmquellen zuweisen und es kann losgehen.

Damit die Installationsanleitung übersichtlich bleibt, habe ich die Beschreibung der verschiedenen Programmquellen nicht oben in die Anleitung eingefügt. Mir gefällt "siehe unten" auch noch nicht, aber bisher habe ich keine bessere Idee. Möglicherweise wird es besser, sobald die nächste Version von Töppis Leitfaden heraus kommt. Danach werde ich mich wohl rein auf die technischen Details beschränken können.

Ich hoffe, ich konnte Dir weiter helfen.

Viele Grüße,
-- mvordeme

[thensch]

Danke, für Deine Ausführungen. Ich habe schon eine Umgebung zum TGD Import installiert. Es war wohl die von Dr Phlox aus Töppis Leitfaden. Da habe ich ein Programm "TV Movie zu XMLTV". Verstehe ich das richtig, daß ich dieses Prg hierzu auch brauche?

[mvordeme]

Nein. TVM2XML konvertiert die ClickFinder-Daten in das XMLTV-Format. Der TGD-Builder kann die ClickFinder-Daten selbst einlesen. Dazu musst Du nur laut Anleitung (such mal nach ClickFinder) eine ODBC-Datenquelle mit dem Namen ClickFinder anlegen (wenn Du sie anders nennst, muss du das in den clickfinder.properties anpassen) und in der Datei tgdbuilder.properties sources=clickfinder schreiben.

[thensch]

Ach so, daß muß ich in meinem Fall clickfinder und nicht xmltv in den properties einstellen. OK, so langsam wird es klarer.

[thensch]

So langsam wird es.

Noch eine kleine Frage. Warum habe ich jetzt 8 tgd Dateien bekommen?

[mvordeme]

Du kannst in den tgdbuilder.properties einstellen, ob Du eine Datei pro Tag haben möchtest oder lieber eine große. Dort steht im Moment wohl dailyFiles=yes. Ich habe alle Einstellmöglichkeiten von xmltv2tgd übernommen. Du kannst ja mal Deine xmltv2tgd.properties durchlesen und die tgdbuilder.properties (und clickfinder.properties und 3PG.properties) entsprechend anpassen.

[thensch]

Alles klar, dann bin ich jetzt erst mal beschäftigt. Vielen Dank nochmal für Deine Mühe.

[cyberdelic]

Hallo zusammen,

ich habe ein kleines Tool geschrieben das die TGD Daten die aus Clickfinder mit dem TGDBuilder erzeugt werden, um die IMDB Bewertung und den Originaltitel ergänzen. Dazu benötigt man nur die ca. 14 MB große IMDB Datenbank und mein Tool. Wer Interesse hat bitte melden...

[mvordeme]

Mich würde mal interessieren, wie das funktioniert. Bei IMDb habe ich keine Möglichkeit gefunden, die Datenbank herunter zu laden. Wenn es Interessenten gibt, wäre es unter Umständen auch sinnvoll, so etwas als Add-On in TGD-Builder integrierbar zu machen.

[cyberdelic]

Habe mir das bei dem TV Browser Plugin abgeschaut:
http://wiki.tvbrowser.org/index.php/LocalImdb

Dort sind Links für die aktuellen IMDB Datenbanken. Man muss nun nur den deutschen Titel in der AKA Liste in den Originaltitel konvertieren und dann den Score in der Ratingliste suchen. Evtl. sogar eine Idee für ein eigenständiges TAP zur Suche von Filmen in der lokalen Datenbank wenn man diese auf den Toppy kopieren würden.

[urmel]

@mvordeme/cyberdelic

Da ich nun neben RadioTimes auch den Clickfinder für den TGD-Import nutze, hätte ich großes Interesse an einer Übernahme der zusätzliche Infos. Könnte man das in den TGD Builder integrieren und vor allem, funktioniert es auch, wenn neben dem Clickfinder eine weitere Datenquelle genutzt und ausgewertet wird? Die erzeugten TGD enthalten dann ja weitere Informationen, für die keine Zusatzinfos vorliegen.

Zum Schluss noch die Frage nach der Datenmenge: Gibt es Erfahrungen zur Größe einer TGD-Datei, in der (pro Tag) Daten von RadioTimes und Clickfinder verwendet werden (ca. 60 Sender)? Wie groß ist der Unterschied zwischen einer Datei ohne und einer Datei mit den Zusatzinfos? Gibt es ein Größenlimit bei der Auswertung durch 3PG? Es wäre ja nicht gut, wenn der Topf abstürzt nur weil die einzulesenden Datei zu groß sind.

@thensch

Noch ein Tipp für thensch: Du kannst zwar auch eine große Datei erzeugen. Ich ziehe aber eine Datei pro Tag vor. Hintergrund: 3PG liest bei jedem Scan am Morgen die TGD-Dateien und löscht jene, die nicht mehr benötigt werden. Somit wird Festplattenspeicher freigegeben. Ich denke nicht, dass 3PG auch die eine große Datei verwaltet. Im Ergebnis müsste diese dann auf dem Topf bleiben, bis der letzte Tag ausgewertet/verstrichen ist. Oder irre ich hier?

[new2pvr]

Hi,

Meine letzte Info zu den
Beschränkungen in der Datei war:

Titel: 256
Kurze Beschr.: 256
Lange Beschr.: 5120

Die maximale Dateigröße hängt natürlich sehr
von den einbezogenen Sendern ab.
Meiner einer verhackstückt zur Zeit 69 Sender.
Hierbei hauptsächliche Filmsender und keine
Sportkanäle.

Die entstehenden Dateien habe eine Größe
von ca. 1.35 MB.

Hiervon kopiere ich jeweils Samstags oder
Sonntags 7 oder 8 auf den Topf und starte
den Import per Menübefehl.

Mit der 1.21 gab's noch keinen Absturz (toi toi toi)

Viele Grüße,
new2pvr

[mvordeme]

[quote=""urmel""]funktioniert es auch, wenn neben dem Clickfinder eine weitere Datenquelle genutzt und ausgewertet wird?[/quote]Wen ich cyberdelic richtig verstehe, arbeitet sein Tool mit den generierten TGD-Daten. Dabei ist also egal, aus welcher Quelle die Informationen stammen.

[quote=""urmel""]Gibt es ein Größenlimit bei der Auswertung durch 3PG?[/quote]Die Größenbeschränkungen für 3PG findest Du in den 3PG.properties.

[quote=""urmel""]Im Ergebnis müsste diese dann auf dem Topf bleiben, bis der letzte Tag ausgewertet/verstrichen ist. Oder irre ich hier?[/quote]3PG liest die Informationen vollständig ein und speichert sie. Wenn man also kein anderes TAP hat, das die Dateien noch braucht, kann man alles in eine große Datei schreiben und direkt von 3PG löschen lassen. Das Datum des Dateinamens darf nur nicht in der Vergangenheit liegen, da 3PG vor dem Einlesen löscht.

Grüße,
-- mvordeme

[urmel]

Danke für die Hinweise. Gestern Abend habe ich dann auch gleich mit ein paar neuen Einstellungen und Importen verbracht. Leider ohne den wirklichen Durchbruch. Die Dateien aus Clickfinder und RadioTimes konnte ich erstellen. Sie waren am Ende pro Tag ca. 1 MB groß (63 Sender). Der Import ist dann alleridngs immer wieder misslungen (Einfrieren des Topf). Erst als nur noch für ca. 40 Sender Daten erzeugt wurden (ca. 800 KB/Tag) und ich den Improt für 3PG auf acht Tage beschränkt habe, schien es zu funktionieren (ob wirklich erfahre ich erst nach dem heutigen Morgenscan). Komisch war, dass 3PG zunächst auch bei größeren TGD-Dateien die Daten geladen hat (über 12.000 Einträge), dann aber beim manuellen Scan (für die restlichen Sender) hängen blieb. Ich werde die Datenflut wohl doch reduzieren müssen, auch wenn ich die ausführlichen Infos (wegen Clickfinder zum Teil 5 Seiten) gut fand. Bei den RT-Sendern brauche ich die 14-Tage-Vorschau und beides, d.h. ein ausführlicher EPG von allen Sendern, wird wohl nichts werden; schade.

Nur noch kurz die Frage, wie ich den Import beim TGD-Builder beschränken kann. Ich hatte schon gelsen, dass die Einstellung für die Kurz- und die Langdarstellung zu ändern ist (derzeit 0). Doch welche Zahl bewirkt hier was und vor allem, wird der Text dann mittendrin abgeschnitten? Vielleicht kannst Du, mvordeme, noch kurz schildern, wie ich die zu importierenden Daten festlegen kann. Das soll ja mit der aktuellen Version gehen.