RecStripper - TAP zum Schrumpfen der Aufnahmen

[chris86]

The same recording failed with the new version of RecStrip, however, I did some more testing.

Thank you very much for testing!

Thank you for your help. I have decided to copy the recordings to my PC and process them with FFMPEG.

You could also process the recordings on the PC with RecStrip for Windows (or Linux).
It works a LOT faster on a PC, and keeps the Toppy file structures.

But - nevertheless I want to figure out this problem!
(Australian recordings, which means 188 byte packet size, which our European Toppys cannot play, are still a bit complex for me, because of the limited testing facilities...)

The original failed recording was the output of MovieCutter.

It fails in the detection of the packet size now.
This may (or may not) be a hint for a misbehavior of MovieCutter during the cutting process.
That would be an important thing to diagnose...
Could you please send me the MovieCutter.log file containing the cut log for this specific recording? That would be very helpful!

[DeltaMikeCharlie]

The log is attached.

[chris86]

Thank you for the log!

The firmware's cutting routine uses to split recordings 4 bytes off the packet boundaries on Australian devices. That means, the files do not start with a valid TS-header anymore after they have been edited.
I fixed this by a workaround in MovieCutter 3.3 and higher.
The problem here is, that you used a very outdated version from 2014 to perform the cutting, which does not include this workaround.

Nevertheless RecStrip should also support recordings that have been cut with older MC versions on Australian Toppys.
Therefore I created an experimental fix for RecStrip and will attach it to this post. (Toppy programme and Windows executable).

Could you please do me the favour and try the fixed version on your problematic (MovieCutter-edited) recording again? And send me the output of this run?
It should work flawlessly now...

[DeltaMikeCharlie]

v9 works for a while and then quits.

[Matahalii]

Nachdem ich ja das da url=viewtopic.php?t=50649]viewtopic.php?t=50649[/url] damals angestubbst hatte, hab ich nun auch diesen Fred gefunden.
Gleich mal ausprobiert und -JA!- supi!
Danke allen die dran beteiligt waren oder sind!
Die ersten Dateien hab ich auch schon geschrumpft. Fazit: bei 7 Versuchen 2 mal am Ende des Schrumpfvorgangs nen Reboot gehabt, aber die Dateien funktionieren.
2 Sachen würde ich aber als Verbesserungsvorschlag anbringen:

Erstens wäre es cool, wenn der Name der geschrumpften Datei einen Prefix oder so bekommen könnte, denn wenn man die zurücksortiert kann man sie nicht unterscheiden und sortiert sie bei der nächsten Aktion wieder ins Stripper-Verzeichnis. Funktioniert zwar, aber wird natürlich nicht noch mal kleiner und verbraucht Verarbeitungszeit.

Zweitens wäre es cool, wenn man den Stripper so konfigurieren könnte, dass er nach getaner Arbeit den Topf schlafen schickt. Da ja das Schrumpfen etwas dauert, und von mehreren Dateien noch länger, könnte man das dann starten, wenn man ins Bett geht, der Topf arbeitet weiter und schaltet sich danach ab.

Ansonsten: Fettes "Thumbs-up"!

[macfan]

[quote="Matahalii"]Erstens wäre es cool, wenn der Name der geschrumpften Datei einen Prefix oder so bekommen könnte, denn wenn man die zurücksortiert kann man sie nicht unterscheiden und sortiert sie bei der nächsten Aktion wieder ins Stripper-Verzeichnis.[/quote]
SmartFiler zeigt an, ob ein Film gestrippt ist.

Eine Bitte: Aktualisiere mal die Receiver-Angabe unter deinem Avatar.

Gruß, Horst

[Matahalii]

[quote="macfan"]SmartFiler zeigt an, ob ein Film gestrippt ist.

[/quote]


Tatsache. da hab ich irgendwas durcheinander gebracht.

Abschaltfunktion wäre trotzdem toll, oder dass der Topf sich verhält wie bei laufenden Aufnahmen und das Fenster mit dem Ausschaltdialog bringt.

[chris86]

[quote="Matahalii"]Abschaltfunktion wäre trotzdem toll, oder dass der Topf sich verhält wie bei laufenden Aufnahmen und das Fenster mit dem Ausschaltdialog bringt.[/quote]

MovieCutter 3.6 bietet diese Funktion. MC starten, Film starten -> [Menü] -> "Aufnahme strippen". Dann die PowerOff-Taste drücken.
Es erscheint ein Dialog, ob der Strip-Vorgang abgebrochen werden soll. Den Dialog einfach stehenlassen, dann wird der Vorgang zuende geführt, und anschließend ausgeschaltet.

Sollte mit der aktuellen RecStrip-Version (wird mit MC 3.6 mit installiert) nochmal ein Reboot beim Strippen auftreten, bitte hier Bescheid sagen!

[Matahalii]

Danke!

[db1]

Hallo Chris (oder auch andere), ich mal wieder

Ich habe jetzt ein NAS (Synology) und würde darauf gerne recStripper über meinen Windows 10 PC (auf dem die Synology Btrfs-formatierten Verzeichnisse gemountet sind) laufen lassen.
Sollte das prinzipiell gehen?

Ich habe die aktuelle v3.2 herunter geladen und extrahiert.
Beim ersten Aufruf der RecStrip_Win32.exe kam die "obligatorische" Windows Warnung.
Ab dem 2. Aufruf öffnet sich aber nur kurz ein Fenster und das schließt sich sofort wieder.
Microsoft Visual C++ 2010 SP1 Redistributable Package (32 bit) (ich habe vcredist_x86.exe herunter geladen) ist installiert.

[chris86]

Was für eine Windows-Warnung meinst du genau?

Nimm mal eine Eingabeaufforderung (Startmenü -> cmd) und ziehe die RecStrip_Win32.exe hinein. Dann Enter drücken.

[db1]

Schande über mich, dachte ich bekomme da eine schöne GUI
Also es klappt auf der Komandozeile!
Gibt es auch irgend eine Möglichkeit für einen Batch Job?

PS: Die Windows Meldung beim ersten Aufruf war die Warnung vor Schadstoff-Software.

[chris86]

Für jedes Video muss ein einzelner RecStrip-Aufruf erfolgen.
Unter Linux geht das mit *.rec
Unter Windows kannst du eine Batch-Datei mit for-Schleife für alle rec-Dateien im Ordner bauen.

[db1]

OK, Danke

[Homer]

Für jedes Video muss ein einzelner RecStrip-Aufruf erfolgen.
Unter Linux geht das mit *.rec
Unter Windows kannst du eine Batch-Datei mit for-Schleife für alle rec-Dateien im Ordner bauen.

Unter Windows bewirkt
Programm.exe Parameter *.rec
dass Programm.exe einmal aufgerufen wird und die Dateinamen (ohne Pfad) aller rec-Dateien im aktuellen Verzeichnis bei diesem Aufruf hinter Parameter übergeben werden.
Hierbei bin ich noch auf keine Längenbeschränkung gestoßen, im Gegensatz zum Drag & Drop vieler Dateien auf eine Verknüpfung zur exe.
Inwieweit RecStrip_Win32.exe diese Syntax unterstützt, entzieht sich meiner Kenntnis.

Viele Grüße
Homer

[db1]

Ich habe nun noch ein paar Fragen:

1) Normalerweise stripe ich am Topf mit dem MovieCutter Tap. Jetzt ist mir aber aufgefallen, dass es in RebuildNAVSetup unter RecStrip die Option "Aktiviert - Markierte Dateien" gibt. Wie markiert man die Dateien, bzw. wie ist das zu verwenden?

2) Am Topf erkenne ich bereits gestripte Dateien an dem RS Flag, kann ich auch unter Windows (mit RecStrip_Win32.exe) abfragen, ob eine Datei bereits gestript ist?

3) Ist folgende Ausgabe (Fehler) bedenklich? Da kaum eine Größenänderung stattfand, war die Aufnahme vermutlich bereits gestript? Warum gibt es dann weitere Fehler?

Code: Alles auswählen

V:\...\RecStrip_Win32.exe -s -e -t "T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren.rec" "T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren - strip.rec"

RecStrip for Topfield PVR v2.3
(C) 2016-18 Christian Wuensch
- based on Naludump 0.1.1 by Udo Richter -
- based on MovieCutter 3.6 -
- portions of Mpeg2cleaner (S. Poeschel), RebuildNav (Firebird) & TFTool (jkIT)

Parameters:
DoCut=0, DoMerge=0, DoStrip=yes, RmEPG=yes, RmTxt=yes, RmScr=no, RbldNav=no, RbldInf=no, PkSize=0

Input file: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren.rec
  File size: 8890718208, packet size: 192
  TS: PMTPID=5110, SID=10302, PCRPID=5111, Stream=0x1b, VPID=5111, HD=1
  TS: TeletxtPID=5114
  TS: SubtitlesPID=5115
  TS: SubtitlesPID=5118
  TS: SvcName   = arte HD
  Failed to get the EIT information.
  Failed to get start time from Teletext.
  TS: Duration = 127 min 08 sec
  TS: StartTime = Sat May 11 23:09:00 2013
  PIDs to be checked for continuity: [0] [5111], [1] 5112, [2] 5113, [3] 5116, [4] 5114, [5] 18

Inf file: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren.rec.inf
  Determine SystemType: DVBs = 0, DVBt = -4, DVBc = -5 Points
   -> SystemType=ST_TMSs
  INF: VideoStream=0x1b, VideoPID=5111, HD=1
  INFO: File has already been stripped.

Nav file: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren.rec.nav

Cut file: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren.cut


Output rec: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren - strip.rec
Inf output: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren - strip.rec.inf
Nav output: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren - strip.rec.nav
Cut output: T:\DataFiles\Spielfilme\Almodovar\Volver - Zurueckkehren - strip.cut


TS check: TS continuity mismatch (PID=5116, pos=2057492928, expect=8, found=12, missing=4)
TS check: TS continuity mismatch (PID=5112, pos=2057493120, expect=9, found=4, missing=11)
TS check: TS continuity mismatch (PID=5113, pos=2057493312, expect=10, found=5, missing=11)
DEBUG: Problem! pos=2057504260, offset=1275264, Orig-Nav-PHOffset=2057485286, Rebuilt-Nav-PHOffset=2056218278, Differenz= 43 * 192 + 0
DEBUG: Problem! pos=2057512708, offset=1275456, Orig-Nav-PHOffset=2057485286, Rebuilt-Nav-PHOffset=2056228838, Differenz= 99 * 192 + 0
DEBUG: Problem! pos=2057521732, offset=1275456, Orig-Nav-PHOffset=2057485286, Rebuilt-Nav-PHOffset=2056237286, Differenz= 143 * 192 + 0
DEBUG: Problem! pos=2057532100, offset=1275456, Orig-Nav-PHOffset=2057485286, Rebuilt-Nav-PHOffset=2056246310, Differenz= 190 * 192 + 0
cNaluDumper: TS continuity mismatch (PID=5111, pos=3678256708, expect=13, found=15, Offset=2)
TS check: TS continuity mismatch (PID=5116, pos=3678261120, expect=11, found=1, missing=6)
TS check: TS continuity mismatch (PID=5112, pos=3678266880, expect=2, found=14, missing=12)
TS check: TS continuity mismatch (PID=5113, pos=3678267072, expect=3, found=15, missing=12)
cNaluDumper: TS continuity mismatch (PID=5111, pos=8882759428, expect=7, found=13, Offset=6)
TS check: TS continuity mismatch (PID=5116, pos=8882759616, expect=4, found=9, missing=5)
TS check: TS continuity mismatch (PID=5112, pos=8882764800, expect=7, found=3, missing=12)
TS check: TS continuity mismatch (PID=5113, pos=8882764992, expect=7, found=4, missing=13)
100 %

Packets: 46305824, FillerNALUs: 0 (0%), ZeroByteStuffing: 0 (0%), AdaptationFields: 48257 (0%), NullPackets: 0 (0%), EPG: 0 (0%), Teletext: 0 (0%), Scrambled: 0 (0%), Dropped (all): 48257 (0%)

Elapsed time: 347.000000 sec.

Danke,
Dieter

[chris86]

1) Normalerweise stripe ich am Topf mit dem MovieCutter Tap. Jetzt ist mir aber aufgefallen, dass es in RebuildNAVSetup unter RecStrip die Option "Aktiviert - Markierte Dateien" gibt. Wie markiert man die Dateien, bzw. wie ist das zu verwenden?

Die Idee ist, eine Art "Warteschlange" fürs Stripping anlegen zu können, welches dann anschließend im Hintergrund ausgeführt wird.
Dafür müssen zunächst in SmartFiler die zu strippenden Dateien mit dem entsprechenden Flag markiert werden.
Wenn das TAP RebuildNav im Autostart liegt, dann würde es anschließend bei seinem routinemäßigen Suchlauf alle so markierten Aufnahmen strippen.
Ob dieses Feature in RbN schon vollständig implementiert ist, und ob der aktuellste RecStrip Algorithmus verwendet wird, weiß ich allerdings gerade nicht auswendig.
Das müsstest du einfach mal testen ;-)

2) Am Topf erkenne ich bereits gestripte Dateien an dem RS Flag, kann ich auch unter Windows (mit RecStrip_Win32.exe) abfragen, ob eine Datei bereits gestript ist?

Ja. Dein RecStrip-Log zeigt dies doch auch sogar an:

Code: Alles auswählen

  INFO: File has already been stripped.

3) Ist folgende Ausgabe (Fehler) bedenklich? Da kaum eine Größenänderung stattfand, war die Aufnahme vermutlich bereits gestript? Warum gibt es dann weitere Fehler?

Die Datei war definitiv bereits gestrippt! (s.o.)

Die "Fehler" sagen aus, dass es 3 Stellen gibt (und zwar bei ca. 23%, 41% und 99.9%*), an denen der TransportStream unterbrochen wurde.
Falls die Aufnahme geschnitten oder zusammengefügt wurde, und das die Nahtstellen sind, dann ist das "normales Verhalten".
Falls nicht, deutet das darauf hin, dass an diesen Stellen vermutlich ein Empfangsproblem vorgelegen hat, und du dort eine kleine Bild-/Tonstörung oder auch eine mehr oder weniger große Lücke bemerken müsstest.
Die Datei wurde beim erneuten Stippen nicht verändert.

(* Der letzte Schnittpunkt wundert mich. Wurde die Aufnahme zufällig mit einer SEHR alten Version von MovieCutter geschnitten? )

[db1]

Die Idee ist, eine Art "Warteschlange" fürs Stripping anlegen zu können, welches dann anschließend im Hintergrund ausgeführt wird.
Dafür müssen zunächst in SmartFiler die zu strippenden Dateien mit dem entsprechenden Flag markiert werden.
Wenn das TAP RebuildNav im Autostart liegt, dann würde es anschließend bei seinem routinemäßigen Suchlauf alle so markierten Aufnahmen strippen.
Ob dieses Feature in RbN schon vollständig implementiert ist, und ob der aktuellste RecStrip Algorithmus verwendet wird, weiß ich allerdings gerade nicht auswendig.
Das müsstest du einfach mal testen ;-)

Ich wüsste jetzt keine Methode, wie ich das Flag (welches eigentlich) gezielt bei einzelnen files setzten könnte.

Ja. Dein RecStrip-Log zeigt dies doch auch sogar an:

Code: Alles auswählen

  INFO: File has already been stripped.

Sorry schlecht ausgedrückt, kann ich das auch sehen ohne den gesamten strip Durchgang laufen zu lassen und dann das log file zu kontrollieren. Ich denke da an einen Parameter für RecStrip_Win32.exe, der dann nur einen Status ausgibt.

3) Ist folgende Ausgabe (Fehler) bedenklich? Da kaum eine Größenänderung stattfand, ...? Warum gibt es dann weitere Fehler?

...
(* Der letzte Schnittpunkt wundert mich. Wurde die Aufnahme zufällig mit einer SEHR alten Version von MovieCutter geschnitten? )

Gut möglich

[chris86]

Ich wüsste jetzt keine Methode, wie ich das Flag (welches eigentlich) gezielt bei einzelnen files setzten könnte.

SmartFiler (ab 12/2017) kann das. Wie das Flag genau heißt, weiß ich gerade nicht. Irgendwas mit "soll gestrippt werden" halt.
Es geht mit Taste 'M' auf der Fernbedienung.

Sorry schlecht ausgedrückt, kann ich das auch sehen ohne den gesamten strip Durchgang laufen zu lassen und dann das log file zu kontrollieren. Ich denke da an einen Parameter für RecStrip_Win32.exe, der dann nur einen Status ausgibt.

Naja, Strip-Vorgang starten, 2 sec. warten, dann mit Strg+C abbrechen.
Ein eigener Parameter, der nur die Analyse durchführt, existiert aktuell nicht. Wäre aber eine gute Idee für eine künftige Version ;-)

[db1]

Danke!