Topfield File-Formate (u.a. TF7700HDPVR)

[ragtime]

Hi,

da ich unlaengst hier lange nach Testaufnahmen der versch. Topfield PVR-Modelle gesucht hab (wg. der unterschiedlichen Header) und mittlerweile einige beisammen hab, dachte ich, es waere nicht schlecht die hier auch anderen Interessierten anzubieten.

Insbesondere die Files des neuen TF7700HDPVR duerften doch im Moment sehr Interessant sein und (was ich auf den ersten Blick so gesehen habe) den Entwicklern der diversen Tools doch ein kleines bisschen Arbeit machen...

Aber erstmal die Links zu den Video-Files (je 3MB damit man auch ein bischen was zum Abspielen hat):
TF4000PVR(DVB-S)
TF5000PVR (DVB-S v. twilight)
TF5200PVRc (DVB-C v. ByteHunter)
TF7700PVR SD & HD (DVB-S v. klax)
ClarkeTech HD (DVB-S v. desperado20de)

Wer die groesseren Original-Aufnahmen haben will (40-180MB) kann mir gerne ne PM schicken...
Die Aufnahmen des TF7700HDPVR bestehen naemlich zusaetzlich aus 3 weiteren Dateien (.IDX, .IFO, .ADD) und die machen wohl nur Sinn, wenn man auch die dazugehoerige Originalaufnahme hat (zum. was die Index/Navigationsfiles betrifft). Die REC-Datei hat deshalb nun auch keinen Header mehr und faengt wie es aussieht direkt mit TS-Paketen an!

Das bringt SW-Player wie den VLC (seltsamerweise) total aus dem Konzept, da er wohl nur spielt was er erkennt, sprich nur auf die 'TFrc'-Kennung guckt (die nun aber irgendwo im ADD-File verborgen steht). Der MPlayer hat keine Probleme (mit SD-Material... HD geht nicht!) und auch DVBcut kann die SD-Aufnahmen problemlos oeffnen/schneiden (und mittlerweile auch Bookmarks importieren), ebenso ProjectX.

Umgekehrt koennen TF7700HDPVRs deswegen aber keine TF5000-Aufnahmen abspielen! Da muss man wohl den Topfield-Header weglassen oder entspr. patchen und die IDX/ADD/IFO-Dateien nachtraeglich irgendwie passend erzeugen. Fuer auf dem PC bearbeitete 7700er-Aufnahmen gilt entspr. das gleiche...

Viel Spass beim Spielen...

[desperado20de]

Du hast noch die clarke tech 5000 Test Files vergessen

[ragtime]

Wir sind doch hier ein Topfieldforum, oder?
Aber weil du's bist... die sind aber wohl auch nicht anders als die vom Topf. Gibt da ja auch IFO/IDX-Files und sie lassen sich ebenfalls vom MPlayer (ohne TSremux-Massage) nicht abspielen, oder?

[desperado20de]

Da mpeg 4 codiert kann ich nur ton aber kein bild abspielen (Ubuntu linux)

[ragtime]

Das liegt aber nicht an der mpeg4-Codierung, sondern an dem etwas komischen TransportStream den die HD-PVRs bei HD Aufnahmen schreiben... Waere interessant zu wissen ob das auch bei DVB-C der Fall ist oder ob das mit DVB-S2 zusammenhaengt...

Eigentlich kann mplayer schon H264 und TS abspielen (nach TSremux) und der MPC unter Windows kann es ja auch direkt ohne remuxen,...mit dem ffdshow-Filter der im uebrigen aus der gleichen Ecke kommt wie mplayer! Allerdings benutzt der zum demuxen den HaaliMediaSplitter und dessen Programmierer sind wohl etwas schlauer als andere...

[ragtime]

So,... wollte mal schreiben was ich durch hexdump und Vergleich der obigen zusaetzlichen Files des TF7700HDPVR interessantes rausfinden konnte:

1. ADD-File:
Ist 2636 Bytes lang und beginnt mit 8Byte Binaerdaten (leicht veraenderlich, ev. die Zeit?), danach folgen Nullen bis byte 0x2ea und dann der Filename (incl. Pfad). Die anschliessenden Daten koennten dann ev Service-Informationen enthalten bis an Byte 1040 (0x410) die Bookmarks folgen.
Diese sind als unsigned 32bit Integer kodiert und enthalten die Zeit in Sekunden (die entspr. Fileposition erhaelt man dann ueber das Indexfile, s.u.). Im Vergleich zu den alten Headern ist die byte-Reihenfolge invertiert (ev. wg. der internen ext2-Disk?) und der Platz reicht auch nur fuer 48 Bookmarks! An Stelle 0x4d0 steht dann ein alter Bekannter, naemlich die Topfield-Headerkennung 'TFrc' (0x54467263) gefolgt von Sendername und EPG-Daten (current & next Event?).

Uebrigens liest DVBcut ab SVN-Revison 105 die Bookmarks aus .add-Files aus, sofern dieses am gleichen Ort wie das REC-File steht!

2. IDX-File:
Tja,... zur besseren/schnelleren/genaueren Navigation gehoert zu jeder Aufnahme (die aus vielen 1.5GB chunks bestehen kann: *.rec, *.001, *.002,...) EIN entpr. Indexfile, was Framenummern bzw. PresentationTimeStamps (PTS) mit Filepositionen korreliert. Das ist recht praktisch (viele Bearbeitungs-Tools erstellen sowas), allerdings ist die Umsetzung von Topfield recht...aehmmmm... "seltsam" (ev. hat das aber auch mit den Interna des verwendeten MPEG-Chips zu tun?).

Normalerweise enthalten solche Files naemlich ensprechende Daten zu jedem einzelnen Frame (also bei PAL alle 40ms mit 1/90ms Auflosung) oder zu jedem I-Frame (also fuer jede GOP bzw. sequence, ca. 10-30 frames bei MPEG2). Beim Topfield IDX-File passiert das jedoch nur alle 100ms, was weder bei PAL noch bei NTSC ein Vielfaches des Bilderabstandes ist (PAL: 3600/90, NTSC: 3003/90... ok bei NTSC passt es fast)!

Man weiss also erstmal nicht auf welches Bild sie sich beziehen... etwa das naechstliegende? Oder grundsaetzlich nur auf jedes I- oder P- Frame (was in etwa auch hinkommen koennte)?
Zusaetzlich wird das noch dadurch erschwert, dass der Abstand sporadisch auch mal nur 99ms betragen kann?!? Bug :ups: oder Feature ?

So,... fuer jeden Eintrag in das Indexfile werden 128bit mit 4 unsigned integers geschrieben:
32bit: PTS in Millisekunden (nur ein Eintrag alle 100 bzw. manchmal auch nur 99ms?!?)
16bit: seltsame laufende Nummer (wird alle 1-3s (SD) bzw. 0.5-2s (HD) erhoeht und pro File zurueckgesetzt )???
16bit: laufende Nummer des REC-Files (bei 0 beginnend!)
64bit: Fileposition auf 188byte gerundet (also Nummer des TS-Paketes!)

Meine Versuche so ein Files nachtraeglich zu reproduzieren scheiterten bisher. Hab aber auch kein 7700er zum probieren, ev. muss man es ja auch nicht so exakt treffen.... ahemm...

3. IFO-File:
Damit hab ich mich noch gar nicht befasst... scheinen immer 4340 Bytes lang zu sein. Sind diese vom Format identisch zu den von DVDs bekannten IFO-Files? Was enthalten diese (gibt kaum infos im Web dazu)? Navigationsinfos bei welchen Sektoren einer DVD man was findet (Menues / Trailer / Haupfilm / MakingOf) dachte ich bisher, oder? Was hat sowas bei TS-Files verloren?


So, das war es... vielleicht schafft es ja damit jemand ein altes 4000/5000er File 7700-kompatibel zu machen. Die Umsteiger von den alten Receivern wuerden sich bestimmt freuen. Ich fuer meinen Teil wollte eh nur die Bookmarks mit DVBcut auslesen koennen und das kann ich ja nun...

Ach ja,... Topfield verwendet intern nun wohl eine ext2-formatierte Festplatte, d.h. Linux-Anwender duerften sich freuen nach Ausbau der Platte diese direkt auslesen/beschreiben zu koennen. Aber wer will das schon bei LAN/USB-Anbindung des Topfes... ahemm...

[tüdelü]

HIER noch ein paar Files von mir dazu (112MB), einmal im Original, einmal in bearbeiteter (geschnittener) Form.

Ich bearbeitete das *.rec mit Nero Vision indem ich es einfach umbenenne in *.ts
Das bearbeiten (schneiden, kleben, abspielen, brennen) mit Nero geht problemlos, nur hat es zum abspeichern keins der o.g. Formate. So speichere ich einfach als *.mp4 und hoffe, daß es nach umbenennen auf *.rec dann wieder geht - was es natürlich nicht tut

Jetzt weiß ich nicht, ob es evtl. an den fehlenden, bzw. unkorrekten zusätzlichen Files liegt, oder am einfachen umbenennen.
Vielleicht kann ja ein Grafik/Video Spezi da was zu sagen, nehm ich das falsche Prog ?
Welches sollte ich nehmen ?

[ragtime]

Von was reden wir hier SD(MPEG2) oder HD(MPEG4)?

Und durch umbenennen aenderst du ja nunmal kein Fileformat und kein Codec, sondern nur den Namen. Das hilft also nur bei Programmen die sonst zu daemlich sind zu bemerken was in dem File drin ist. Da die 7700er-Aufnahmen nunmal reine TS-Files ohne irgendwelche proprietaeren Header sind, kann man sie genauso gut nach TS umbenennen ... wenn es Nero denn braucht...

Umkehrt MP4 in REC umzubenennen macht aber gar keinen Sinn... was hast du denn in dem MP4-Container abgespeichert? Doch bestimmt kein MPEG2 sondern wohl eher MPEG4 (ASP oder AVC?)...

Wenn der Topf was abspielen kann, dann ist das entweder MPEG4/ASP (also sowas wie XVID, DIVX) in AVI Container oder aber MPEG2 als TS bzw. MPEG4/AVC (also sowas wie H.264, VC-1) als TS, also die Formate die der Topf auch aufnimmt. Fuer letztere brauchst du aber die 3 Zusatzfiles, die dir im Moment wohl noch keiner erzeugen kann.

Eventuell kann der Topf aber auch noch WMV9 (VC-1) oder H.264 in MP4-Container abspielen da das die Standardcontainer sind. Zumindest der Chip beherrscht die Codecs... ist die Frage ob die FW die Container kann und das vorsieht.

[klax]

[quote=""ragtime""]
2. IDX-File:
Tja,... zur besseren/schnelleren/genaueren Navigation gehoert zu jeder Aufnahme (die aus vielen 1.5GB chunks bestehen kann: *.rec, *.001, *.002,...) EIN entpr. Indexfile, was Framenummern bzw. PresentationTimeStamps (PTS) mit Filepositionen korreliert. Das ist recht praktisch (viele Bearbeitungs-Tools erstellen sowas), allerdings ist die Umsetzung von Topfield recht...aehmmmm... "seltsam" (ev. hat das aber auch mit den Interna des verwendeten MPEG-Chips zu tun?).

Normalerweise enthalten solche Files naemlich ensprechende Daten zu jedem einzelnen Frame (also bei PAL alle 40ms mit 1/90ms Auflosung) oder zu jedem I-Frame (also fuer jede GOP bzw. sequence, ca. 10-30 frames bei MPEG2). Beim Topfield IDX-File passiert das jedoch nur alle 100ms, was weder bei PAL noch bei NTSC ein Vielfaches des Bilderabstandes ist (PAL: 3600/90, NTSC: 3003/90... ok bei NTSC passt es fast)!

Man weiss also erstmal nicht auf welches Bild sie sich beziehen... etwa das naechstliegende? Oder grundsaetzlich nur auf jedes I- oder P- Frame (was in etwa auch hinkommen koennte)?
Zusaetzlich wird das noch dadurch erschwert, dass der Abstand sporadisch auch mal nur 99ms betragen kann?!? Bug :ups: oder Feature ?

So,... fuer jeden Eintrag in das Indexfile werden 128bit mit 4 unsigned integers geschrieben:
32bit: PTS in Millisekunden (nur ein Eintrag alle 100 bzw. manchmal auch nur 99ms?!?)
16bit: seltsame laufende Nummer (wird alle 1-3s (SD) bzw. 0.5-2s (HD) erhoeht und pro File zurueckgesetzt )???
16bit: laufende Nummer des REC-Files (bei 0 beginnend!)
64bit: Fileposition auf 188byte gerundet (also Nummer des TS-Paketes!)

Meine Versuche so ein Files nachtraeglich zu reproduzieren scheiterten bisher. Hab aber auch kein 7700er zum probieren, ev. muss man es ja auch nicht so exakt treffen.... ahemm...

[/quote]

@ragtime

Da ja am Freitag die neue Firmware rauskam, biete ich mich gerne wieder als "Datenlieferant" an. Evtl. war es ja wirklich ein Bug, der jetzt beseitigt wurde?!
Falls Du neues Material benötigst, melde Dich einfach bei mir.

[ragtime]

Stimmt, gute Idee... ein nicht ganz so kleines kleines File (SD) koenntest du mir nochmal aufnehmen!
Vielleicht so ca. 20min...

Ich habe bei deinen alten Files (die lange Entgleist-Aufnahme nach zB. ca. 7min) naemlich festgestellt, dass es furchtbare Assynchronitaeten nach dem Schneiden mit DVBcut gibt (im Bereich 1 sek)... die treten immer ab Stellen auf, wo auch der Indexer meckerte (missing frames) und wo beim export dann "muxer errors" einsetzen! Exportiert man nach solchen Stellen geht es (bis zum naechsten "missing frame")... da kommt wohl der Muxer aus dem Tritt...

Ich vermute das war auch die Urache (oder die Wirkung?) der ganzen Playback/Aufnahmeruckler bei eurer Box. Wuerde mich interessieren ob das nun weg ist, bzw. ob man beim DVBcut muxer was aendern muss bzw. kann. Und vielleicht hat das ja auch was mit den 99ms Spruengen im IDX-File zu tun... wobei die aber eigentlich dafuer dann doch zu haeufig sind...

Ach ja,... und miss mal bitte die Zeit, die du zum Uebertragen auf die externe USB-Platte brauchst... wuerde mich interessieren ob nun das schneller geht als auf nem 5000er...
danke schonmal im voraus!

[klax]

[quote=""ragtime""]

Ach ja,... und miss mal bitte die Zeit, die du zum Uebertragen auf die externe USB-Platte brauchst... wuerde mich interessieren ob nun das schneller geht als auf nem 5000er...
danke schonmal im voraus! [/quote]

Also die Frage kann ich Dir sofort beantworten: es geht viel schneller.
Für einen ca. 1,5 Std-Std.-HD-Film (ca .9 GB) hat er nur 17 Minuten gebraucht.

Da hat der 5000er (zumindest bei mir) noch nicht mal die Hälfte einer SD-Aufnahme geschafft.

Gut, man muss natürlich auch die Zeit zum Kopieren auf den PC und das Zusammensetzen der Files miteinrechnen - aber wenn man das Zusammensetzen gleich beim Kopieren macht...

Die SD-Aufnahme werde ich Dir dann erst morgen abend zukommen lassen. Ich schick Dir dann eine Mail und stellt sie auf meinen FTP.

[ragtime]

Prima,... danke! :

Das Zusammensetzten MUSST du natuerlich beim kopieren machen (copy /b d:\topf.rec + d:\topf.001 c:\film.rec) , alles andere ist Schwachsinn... wenn du schon unbedingt kopieren musst und die Files nicht direkt von der USB-Platte einlesen/schneiden/konvertieren kannst/willst.

Und 9GB/17min find ich nun nicht wirklich berauschend (sind nur 9MB/s=72Mbps... USB 2.0 kann 480Mbps!). Bin aber natuerlich auch nicht durch einen 5000er entwoehnt, sondern hab meine 4000er-Platte direkt am IDE-Port des PCs...

[klax]

Ich hatte meine 5000er Platte natürlich auch am IDE-Port - per USB wäre dies ja unzumutbar!!!

Gerade weil die USB-Platte selbst am PC "so" langsam ist, kopiere ich erst auf den PC.

Da man ja aber beim 7700er die Platte nicht ausbauen darf, finde ich die Geschwindigkeit zumindest für den Austausch der Dateien gar nicht so schlecht. So viel schneller ist das Kopieren auf den PC ja dann auch nicht. Die 480Mbps sind ja wohl mehr als theoretisch!!!

Was findest Du denn eine gute Geschwindigkeit per USB bzw. wie schnell kopiert den Deine USB-Platte auf den Rechner? (oder hast Du gar keine?)

[ragtime]

Also meine Topfplatte haengt direkt am IDE-Port und macht da sowas wie 40MB/s (3Jahre alte 120GB Samsung mit 5400Umin/s).

Die etwas bessere (fast) baugleiche Platte (gleiche Typreihe, 160GB, 7200Umin/s) im externen USB-Gehaeuse macht dagegen "nur" 26MB/s. Das ist also auch noch nicht einmal die Haelfte der spezifizierten Schittstellengeschwindigkeit... verantwortlich ist wohl der"billige" USB-Controller im Gehaeuse und/oder der etwas "hackelige" Suse-Linux-USB-Treiber.

Insofern hast du recht,... 480Mbit/s=60MB/s fuer USB 2.0 sind nur eine theoretische Obergrenze und fuer das real life eher im Bereich der Maerchen und Fabeln anzusiedeln!!!

Obige Werte sind ueberigens mit hdparm gemessene (ca. 3sek buffered Disk reads!), d.h. in (meinem) real life kannst du da auch nochmal was abziehen (10-40%?... je nach CPU-Last, Ziellaufwerk und sonstigem Overhead)... insofern sind deine 9MB/s gar nicht mal soooo schlecht!

Lustigerweise stammen die 10% Abschlag vom USB-Laufwerk und die 40% von der Topf-IDE-Platte (tatsaechliches Kopieren von 300MB, wie fragmentiert die auf der Platte lagen weiss ich aber nicht!) so dass sich letzendlich beide bei ca. 20MB/s einpendeln duerften. Ev. ist auch meine 5Jahre alte CPU/Motherboard (AthlonXP 2500+) der limitierende Faktor... du sieht... traue keiner Statistik die du nicht selber gefaelscht hast!!!

[harrykausl]

Hallo,
vielleicht hat in diesem Unterforum jemand einen Tipp. Ich möchte von meinem 4000-er Topf auf den 7700 HDPVR umsteigen. Habe ich die Mgöichkeit, die Filme vom 4000 auf den neuen Topf zu bringen (evtl. die alte Platte über den USB-Port dranhängen.)
Was mir noch viel wichtiger wäre: Ich möchte meine auf dem PC gesammelten mpeg2-Kameraaufnahmen verlustfrei auf den Topf bringen, damit ich nicht immer vom PC aus streamen muss. Habe ich da irgendeine Chance? Das wäre für mich das Kriterium zum Sofortkauf. Vielen Dank im Voraus.

[ragtime]

Eine Chance ja,... und ob 4000er (also MPEG2-TransportStream) oder Kamera (MPEG2-Programstreams) bleibt sich gleich, lassen sich ja beide verlustfrei ineinander konvertieren. Aber wie ich weiter oben schon geschrieben habe, geht im Moment noch nix, da (noch) nicht klar ist wie die Zusatzdateien zu erzeugen sind...