RecStripper - TAP zum Schrumpfen der Aufnahmen

[chris86]

Vielen Dank für die Info!
Das muss ich mir dann wohl anschauen!
Von welchem Sender waren die Aufnahmen? Und SD oder HD?

[db1]

Gemischt, aber eigentlich die unkritischen Sender (also nicht ORF :-) ). Die beiden Beispiele oben sind SD, Tele5 und HD ONE HD. Und dann noch ein ProSieben (nicht HD) SD File.
edit: Habe jetzt auch noch ein SD File von Puls 4 Austria versucht, das gleiche Problem. Auch ein kopieren auf die lokale Festplatte hat nicht geholfen (die vorherigen Versuche waren auf einem gemounteten Ordner vom NAS).

Jetzt aber noch eine gute Nachricht.
Das auch oben versuchte >8GB HD File "Der Medicus" von ONE HD wurde mit der Windows 2.5 und der aktuellen RecStrip_rtd129x gestript und die Ergebnisse sind binär gleich.

[chris86]

Prinzipiell ist jeder Sender erstmal "kritisch".
Wie gesagt, ich kann nicht mit allen testen.
Meine Testaufnahmen von arte HD und Das Erste HD gingen.
Deine Sender schaue ich mir dann die Tage mal an!

[db1]

Ich denke trotzdem, dass es an etwas anderem liegt, da keine Aufnahme funktioniert. Heir auch ein Versuch mit einem ARTE HD file:

Code: Alles auswählen

Microsoft Windows [Version 10.0.18362.778]
(c) 2019 Microsoft Corporation. Alle Rechte vorbehalten.

C:\Users\Dieter>cd "C:\Program Files (x86)\RecStrip_3alpha\"

C:\Program Files (x86)\RecStrip_3alpha>.\RecStrip_3alpha.exe -ss -e "T:\DataFiles\Spielfilme\Die Dinge des Lebens.rec" "V:\Temp\Die Dinge des Lebens_strip_3alpha.rec"

RecStrip for Topfield PVR v3.0 alpha
(C) 2016-2020 Christian Wuensch
- based on Naludump 0.1.1 by Udo Richter -
- based on MovieCutter 3.6 -
- portions of Mpeg2cleaner (S. Poeschel), RebuildNav (Firebird) & TFTool (jkIT)

Parameters:
DoCut=0, DoMerge=0, DoStrip=yes, RmEPG=yes, RmTxt=no, RmScr=no, RbldNav=no, RbldInf=no, PkSize=0

Input file: T:\DataFiles\Spielfilme\Die Dinge des Lebens.rec
  File size: 8819478528, packet size: 192
  TS: PMTPID=5110, SID=10302, PCRPID=5111, Stream=0x1b, VPID=5111, HD=1
  TS: TeletxtPID=5114
  TS: SubtitlesPID=5115
  TS: SubtitlesPID=5118
  TS: Teletext Programme Identification Data: 'DIE DINGE DES LEBENS'
  TS: Teletext date: mjd=56782, 14:52:36
  TS: EvtStart  = Mon May 05 14:00:00 2014
  TS: EventName = Die Dinge des Lebens
  TS: EventDesc = Spielfilm Frankreich / Italien / Schweiz 1969 (Les choses de la vie)
  TS: ExtEvent  = Pierre ist erfolgreicher Architekt und wird bei einem Autounfall schwer verletzt. Im Sterben liegend sinnt er in R³ckblicken ³ber "die Dinge des Lebens nach": allen voran seine Freundin HÚlÞne, seine Exfrau Catherine und sein Sohn Bertrand. "Dinge
  TS: ExtEvent  = Pierre ist erfolgreicher Architekt und wird bei einem Autounfall schwer verletzt. Im Sterben liegend sinnt er in R³ckblicken ³ber "die Dinge des Lebens nach": allen voran seine Freundin HÚlÞne, seine Exfrau Catherine und sein Sohn Bertrand. "Dinge des Lebens" machte Romy Schneider und Michel Piccoli Ende der 1960er Jahre zum Traumpaar des franz÷sischen Filmes. Der Film lõuft im Rahmen der Hommage an den franz÷sischen Drehbuchautor und Regisseur Claude Sautet vom 20. April bis zum 05. Mai 201
  TS: ExtEvent  = Pierre ist erfolgreicher Architekt und wird bei einem Autounfall schwer verletzt. Im Sterben liegend sinnt er in R³ckblicken ³ber "die Dinge des Lebens nach": allen voran seine Freundin HÚlÞne, seine Exfrau Catherine und sein Sohn Bertrand. "Dinge des Lebens" machte Romy Schneider und Michel Piccoli Ende der 1960er Jahre zum Traumpaar des franz÷sischen Filmes. Der Film lõuft im Rahmen der Hommage an den franz÷sischen Drehbuchautor und Regisseur Claude Sautet vom 20. April bis zum 05. Mai 2014.èProduziert in HD
  TS: SvcName   = arte HD
  TS: FirstPCR  = 1878450738186 (19:19:32,249), Last: 2011886898792 (20:41:54,329)
  TS: Duration  = 82 min 22 sec
  TS: StartTime = Mon May 05 15:08:00 2014
  PIDs to be checked for continuity: [0] [5111], [1] 5112, [2] 5113, [3] 5116, [4] 5117, [5] 5114, [6] 18

Inf file: T:\DataFiles\Spielfilme\Die Dinge des Lebens.rec.inf
  Determine SystemType: DVBs = 0, DVBt = -4, DVBc = -5 Points
   -> SystemType=ST_TMSs
  INF: VideoStream=0x1b, VideoPID=5111, HD=1

Nav file: T:\DataFiles\Spielfilme\Die Dinge des Lebens.rec.nav

Cut file: T:\DataFiles\Spielfilme\Die Dinge des Lebens.cut


Output rec: V:\Temp\Die Dinge des Lebens_strip_3alpha.rec

Inf output: V:\Temp\Die Dinge des Lebens_strip_3alpha.rec.inf

Nav output: V:\Temp\Die Dinge des Lebens_strip_3alpha.rec.nav

Cut output: V:\Temp\Die Dinge des Lebens_strip_3alpha.cut



C:\Program Files (x86)\RecStrip_3alpha>

[db1]

so, das script mausert sich: ...

Danke für das script (auch an Firebid ). Die größte Herausforderung war tatsächlich der Editor. Sogar mein notepad++ mit dem ich sonst alles programmiere hat versagt.
Letztendlich habe ich nun den "Text-Editor" der Synology genommen und das script direkt dort editiert. Tatsächlich ist ein mit notepad++ geschriebenes script, das nicht gelaufen ist, nach öffnen und speichern mit diesem Text-Editor gelaufen. Irgendwie ist es schon verständlich, warum sich Linux am Desktop nicht durchsetzten kann ... (aber bloß jetzt hier keine Diskussion darüber beginnen )

[chris86]

@db1 Ich kann das hier leider nicht nachvollziehen!
Gibt es eine Fehlermeldung bei dir? Und "rechnet" er eine Weile, oder bricht der Vorgang schon vor dem Strippen ab?

Doch, kann ich.
Es liegt vermutlich daran, dass noch eine Ausgabe von ein paar Debugging-Informationen enthalten war, die in eine Datei geschrieben werden sollen, welche nur auf meinem PC existiert...
Dann ist es klar, dass es bei mir funktioniert, aber bei allen anderen nicht!

Das Download-Archiv wurde geupdatet. ;-)

[db1]

Script läuft jetzt unter Windows, aber ich habe gefühlte 100 000 debug Infos am Schirm wie:

Code: Alles auswählen

DEBUG: Problem! pos=2960096644, offset=933855168, Orig-Nav-PHOffset=2960051931, Rebuilt-Nav-PHOffset=2026196766, Differenz= 0 * 192 + 3
DEBUG: Problem! pos=2960112004, offset=933884928, Orig-Nav-PHOffset=2960096662, Rebuilt-Nav-PHOffset=2026211747, Differenz= 0 * 192 + 13
DEBUG: Problem! pos=2960125444, offset=933864192, Orig-Nav-PHOffset=2960112022, Rebuilt-Nav-PHOffset=2026247838, Differenz= 0 * 192 + 8
DEBUG: Problem! pos=2960174788, offset=933865728, Orig-Nav-PHOffset=2960125467, Rebuilt-Nav-PHOffset=2026259742, Differenz= 0 * 192 + 3

edit: Aus einem 2.890.808 KB SD File hat die 3alpha ein 1.978.829 KB File gemacht, die 2.5 allerdings auch ein 1.981.437 KB File.

Um auch genau zu kontrollieren ob die Aufnahmen OK sind, müsste ich das aber mit dem Tap machen können (hin und her kopieren strapaziert meine Nerven zu sehr). Kann ich dazu die RecStrip aus dem alpha-Archiv einfach in das Topf Programm Verzeichnis kopieren?

PS: In TapToDate wird der Recstripper nicht mehr gewartet? Da wird deine ganze Arbeit wohl nur ganz wenigen zur Verfügung stehen.

[db1]

Jetzt habe ich zusätzlich ein ganz besonderes Problemfile vom ORF. Recstripper (keine Version, auf keinem System) kann es gar nicht öffnen:

Code: Alles auswählen

ERROR: Cannot open input V:\Topfield\....rec

Aber da hat es wohl mehr, da das file nicht einmal mit VLC abspielbar ist. Und auch die Synology Video Station versagt (nach Umbenennung in mkv, was sonst funktioniert).
Ich habe das file allerdings bereits vorher am Topf mit MovieCutter (Version???) geschnitten. Kann das vielleicht etwas verursacht haben?
Falls du dir es ansehen willst, ich habe am Topf eine 1 min Kopie gemacht, die das gleiche Verhalten zeigt und auf meinem Google Drive gespeichert (Zugang per Email).

[chris86]

Script läuft jetzt unter Windows, aber ich habe gefühlte 100 000 debug Infos am Schirm wie:

Das ist normal. Da der Stream verändert wird, weicht die neu generierte nav von der Original nav ab (und muss das auch!)
Die Debug-Ausgaben brauche ich, falls es Probleme bei der nav-Berechnung gibt. Das sieht hier aber nicht danach aus. Also kannst du sie ignorieren, bzw. ich kann sie demnächst entfernen.

edit: Aus einem 2.890.808 KB SD File hat die 3alpha ein 1.978.829 KB File gemacht, die 2.5 allerdings auch ein 1.981.437 KB File.

Das ist zu erwarten, da RS 3.0 sauberer arbeitet und keine Reste der Fülldaten mehr übrig lässt.

Um auch genau zu kontrollieren ob die Aufnahmen OK sind, müsste ich das aber mit dem Tap machen können (hin und her kopieren strapaziert meine Nerven zu sehr). Kann ich dazu die RecStrip aus dem alpha-Archiv einfach in das Topf Programm Verzeichnis kopieren?

Es liegen immer 2 Dateien im Archiv:
RecStrip-Win32.exe für Windows und RecStrip (ohne Erweiterung) für den Topf.
Die zweite kannst du einfach ins ProgramFiles-Verzeichnis auf dem Topf kopieren, dann verwenden MovieCutter und RecStripper fortan diese Version. Ebenso kannst du sie mittels Telnet auf der Konsole aufrufen.

PS: In TapToDate wird der Recstripper nicht mehr gewartet? Da wird deine ganze Arbeit wohl nur ganz wenigen zur Verfügung stehen.

Das Stripper-TAP selbst hat sich (bei mir) tatsächlich nicht sooo sehr durchgesetzt.
Durch Aktualisieren des MovieCutter-Pakets mittels TAPtoDate erhält aber auch der RecStripper die jeweils neueste RecStrip-Version.
(allerdings erst, wenn alle Tests abgeschlossen sind)

Bezüglich Problem-File:
Schaue ich mir an. Vermute aber, dass das weniger ein Problem von RecStrip ist, sondern die Aufnahme einfach kaputt ist.

[db1]

Bezüglich Problem-File:
Schaue ich mir an. Vermute aber, dass das weniger ein Problem von RecStrip ist, sondern die Aufnahme einfach kaputt ist.

Kaputt ist sie nicht, am Topf läuft sie!

[db1]

RecStrip-Win32.exe für Windows und RecStrip (ohne Erweiterung) für den Topf.
Die zweite kannst du einfach ins ProgramFiles-Verzeichnis auf dem Topf kopieren, dann verwenden MovieCutter und RecStripper fortan diese Version. Ebenso kannst du sie mittels Telnet auf der Konsole aufrufen.

Uups, da ist mir gerade eine Idee gekommen: könnte man da nicht auch ein bash file schreiben ...

[Twilight]

sowas da?!

also hier mein script wo man ein ganzes verzeichnis strippen kann, die gestrippten files liegen dann im unterverzeichnis recstrip:

Code: Alles auswählen

#/bin/bash
cd /volume1/Datafiles/Kinder/Au\ Schwarte/
mkdir recstrip
ls *.rec | while read x
do
/volume1/homes/admin/RecStrip -s -e "$x" "recstrip/$x"
done

die verzeichnisse muß man je nachdem wo das recstrip liegt und die recs liegen anpassen.

damit das ganze funktioniert muß man mit einem entsprechenden editor (kein normaler windows editior, sonst geht es schon nicht mehr) die datei erstellen/editieren.
diese dann mit chmod 777 batch.sh ausführbar machen und mit ./batch.sh ausführen.

ich häng meine datei hier mal dran, als editor ha ich sciTE genutzt.

...und ohne den feuervogel wäre ich alleine nicht so schnell ans ziel gekommen

twilight

[chris86]

Uups, da ist mir gerade eine Idee gekommen: könnte man da nicht auch ein bash file schreiben ...

Könnte man.
Aber im Prinzip übernimmt das RecStripper TAP genau die Aufgabe dieses Scripts.
Nur, dass das TAP den Topf nicht blockiert.

[chris86]

Jetzt habe ich zusätzlich ein ganz besonderes Problemfile vom ORF. Recstripper (keine Version, auf keinem System) kann es gar nicht öffnen:

Code: Alles auswählen

ERROR: Cannot open input V:\Topfield\....rec

Aber da hat es wohl mehr, da das file nicht einmal mit VLC abspielbar ist. Und auch die Synology Video Station versagt (nach Umbenennung in mkv, was sonst funktioniert).
Ich habe das file allerdings bereits vorher am Topf mit MovieCutter (Version???) geschnitten. Kann das vielleicht etwas verursacht haben?
Falls du dir es ansehen willst, ich habe am Topf eine 1 min Kopie gemacht, die das gleiche Verhalten zeigt und auf meinem Google Drive gespeichert (Zugang per Email).

Vielen Dank für die Probe-Aufnahme! Ich habe sie mir angesehen.
VLC spielt sie bei mir auch nicht. Der Grund ist - wie hier schon an anderer Stelle geschrieben - dass der ORF gegen gängige Standards verstößt, indem er auf seiner CAT-PID eine zusätzliche PMT überträgt. Das führt zu diversen Problemen.

RecStrip 3.0 alpha hat einen (provisorischen) Fix gegen diese Eigentümlichkeit integriert, und verarbeitet deine Aufnahme bei mir einwandfrei.
Abspielbar ist sie im VLC danach immernoch nicht, im Topf jedoch schon - also genau wie vorher (es sind auch weiterhin beide PMTs enthalten).

Durch manuelles Ausfiltern der PID 120 (welche die zweite, falsche PMT enthält) lässt sich deine Aufnahme einwandfrei abspielbar machen, auch im VLC.

PS: Ich mache an dieser Stelle einmal Werbung für den Media Player Classic Home Cinema, der weitaus robuster und zuverlässiger arbeitet als VLC. Auch in diesem Fall kann MPC-HC die Aufnahme problemlos abspielen (wobei das Zufall sein mag).

[db1]

Vielen Dank für die Probe-Aufnahme! Ich habe sie mir angesehen.
VLC spielt sie bei mir auch nicht. Der Grund ist - wie hier schon an anderer Stelle geschrieben - dass der ORF gegen gängige Standards verstößt, indem er auf seiner CAT-PID eine zusätzliche PMT überträgt. Das führt zu diversen Problemen.

Waoh, super Analyse und danke! Sollten wir das dem ORF einmal mitteilen?

RecStrip 3.0 alpha hat einen (provisorischen) Fix gegen diese Eigentümlichkeit integriert, und verarbeitet deine Aufnahme bei mir einwandfrei.

Das ist aber nicht die in deinem Downloadarchiv, denn die hatte ich (mit einem kleinen Hoffnungsschimmer) bereits probiert?

Abspielbar ist sie im VLC danach immernoch nicht, im Topf jedoch schon - also genau wie vorher (es sind auch weiterhin beide PMTs enthalten).
Durch manuelles Ausfiltern der PID 120 (welche die zweite, falsche PMT enthält) lässt sich deine Aufnahme einwandfrei abspielbar machen, auch im VLC.

Lässt es sich vielleicht machen, dass Recstripper diese falsche CAT/PIT/PMT (oder was auch immer ) "herausfiltert" wie von dir beschrieben, oder könnte ich das selbst machen? So könnte ich solche Aufnahmen der Synology Videostation zur Verfügung stellen.

PS: Ich mache an dieser Stelle einmal Werbung für den Media Player Classic Home Cinema, der weitaus robuster und zuverlässiger arbeitet als VLC. Auch in diesem Fall kann MPC-HC die Aufnahme problemlos abspielen (wobei das Zufall sein mag).

Danke, sehe ich mir auf jeden Fall an.

[TV-Junkie]

cool, den Media Player merke ich mir mal.
@chris86, frage mal bei Buko nach, ob er Dir einen Schnipsel einer ORF Aufnahme von einer VU+ zukommen lassen soll, eventuell, der ORF macht was falsch hin oder her, hat der Topf ein Problem.
Wenn man schon andere Quellen hat .......

[chris86]

Waoh, super Analyse und danke! Sollten wir das dem ORF einmal mitteilen?

Wenn du magst.
Ich, als Nachbarländer, bin ja eh kein ORF-Kunde. Aber ich bezweifle auch, dass man dich dort an irgend jemanden durchstellen würde, der ansatzweise wüsste, was hier gemeint ist.

Das ist aber nicht die in deinem Downloadarchiv, denn die hatte ich (mit einem kleinen Hoffnungsschimmer) bereits probiert?

Doch, schon. Möglich, dass der Ausschnitt, den du mir geschickt hast, ein anderes Verhalten aufweist, als die Original-Aufnahme?
Hast du es mit dem aktualisierten Download-Archiv probiert? Welche Fehlermeldung kommt genau?

Lässt es sich vielleicht machen, dass Recstripper diese falsche CAT/PIT/PMT (oder was auch immer ) "herausfiltert" wie von dir beschrieben, oder könnte ich das selbst machen? So könnte ich solche Aufnahmen der Synology Videostation zur Verfügung stellen.

Möglich wäre das schon. Ich habe deine Aufnahme ja mit RecStrip "repariert". Aber es erfordert (vorerst) eine gewisse manuelle Diagnostik, damit nicht das falsche weggefiltert wird.
Und im Moment habe ich alle Hände voll zu tun, die Grund-Funktionalität mit dem neuen Stripping-Algorithmus zu vereinen, und viele viele Tests durchzuführen, sodass ich aktuell erstmal keine experimentellen Workarounds (die dann ja auch neue potenzielle Fehlerquellen wären) einbauen will.
Wenn RS 3.0 fertig ist, dann können wir vllt. überlegen, eine spezielle "ORF-Filterungs-Version" zu basteln...

@TVJunkie: Nein. Der Topf hat kein Problem.

[FireBird]

Aber ich bezweifle auch, dass man dich dort an irgend jemanden durchstellen würde, der ansatzweise wüsste, was hier gemeint ist.

Twilight hat das schon 2 oder 3 Mal wegen EPG-Problemen durchgezogen. Man muss sehr hartnäckig sein, muss wissen, wovon man spricht und der 1st und 2nd Level Helpdesk muss erkennen, dass er gegen den Kunden chancenlos ist. Dann erhält man einen Rückruf vom Inneren der Sendertechnik und dann wird das Gespräch echt produktiv.

[Wolfman]

o.T.:

Gibt es immer noch Leute, die den MPC HC nicht kennen - den benutze ich (inkl. des Vorgämgers ohne "HC") schon ewig

[Twilight]

Aber ich bezweifle auch, dass man dich dort an irgend jemanden durchstellen würde, der ansatzweise wüsste, was hier gemeint ist.

Twilight hat das schon 2 oder 3 Mal wegen EPG-Problemen durchgezogen. Man muss sehr hartnäckig sein, muss wissen, wovon man spricht und der 1st und 2nd Level Helpdesk muss erkennen, dass er gegen den Kunden chancenlos ist. Dann erhält man einen Rückruf vom Inneren der Sendertechnik und dann wird das Gespräch echt produktiv.

ja, da braucht man echt einen informativen feuervogel im hintergrund der einem vor dem einsatz richtig gut brieft

twilight