RecStripper - TAP zum Schrumpfen der Aufnahmen

[chris86]

Wie versprochen habe ich mich mal an ein Schrumpfungs-TAP gesetzt, welches auf NALUdump basiert, aber speziell für Topfield-Aufnahmen angepasst ist.
Bei mir lassen sich dadurch ca. 10-20 Prozent an Dateigröße einsparen. Die Aufnahmen sollten danach ohne jede Einschränkung auf dem Topf abspielbar (und spulbar) sein.

Code: Alles auswählen

RecStripper TAP
===============

Das TAP verarbeitet alle *.rec-Dateien im Quell-Ordner /DataFiles/RecStrip.
Die verkleinerten Aufnahmen werden im Zielverzeichnis /DataFiles/RecStrip_out abgelegt.
Die Original-Aufnahmen werden hierbei nur gelesen und NICHT verändert. Sie können auf Wunsch anschließend gelöscht werden.

Die Verarbeitung umfasst aktuell folgende Schritte:
  - Entfernung von Filler-NALUs
  * Entfernung von Null-Paketen (noch keine gesehen)
  * Entfernung von Zero-byte-Padding
  - Entfernung der EPG-Spur [optional]

(*) geplant

Bei der Verarbeitung werden auch die zugehörigen inf-, nav- und cut-Dateien angepasst.
Die verkleinerten Aufnahmen sollten ohne jede Einschränkung am Topf abspielbar (und auch spulbar) sein.

Es werden sowohl europäische, als auch australische Aufnahmen unterstützt (aktuell aber nur die Erweiterung .rec).

Zur korrekten Verarbeitung müssen (derzeit noch) Informationen aus der inf-Datei ausgelesen werden, und zwar (a) die Video-PID und (b) der Stream-Typ (SD oder HD).
Sollte keine zugehörige inf-Datei vorhanden sein, kann die resultierende Aufnahme Fehler aufweisen.

Das Programm läuft als TAP auf dem Topf, aber auch als Kommandozeilenprogramm unter Windows. Auf dem Topf ist es leider (derzeit noch) ziemlich langsam.

Es würde mich freuen, wenn ihr das Programm mal mit ein paar von euren Aufnahmen testen und berichtet könntet, wie es gelaufen ist.
Ein guter Test ist, wenn man die verkleinerte Aufnahme anschließend auf den PC spielt und in den TS-Doctor füttert. Wenn dieser bei seiner Bearbeitung keine Fehlermeldungen anzeigt, hat RecStripper offenbar alles richtig gemacht ;-)

Download hier:
http://mc.tms-taps.net/downloads/RecStripper.zip

Ich freue mich auf eure Rückmeldungen

[Twilight]

wow, unglaublich was du alles auf die beine stellst !!! ganz großen und danke

twilight

[HD_Topfgucker]

Vielen Dank und allergrößten Respekt
Werde mal testen
Grüße aus Thüringen
HD_Topfgucker

[doldi]

...ich will nicht geschrumpft werden, lol

saubere Arbeit! THX

[Alter Sack]

Ich freue mich auf eure Rückmeldungen

Ich bekomme es leider nicht ans Laufen:

Code: Alles auswählen

2015-12-25 22:52:15 ***  RecStripper V0.1 (debug) started! (FBLib 2013-02-24+) ***
2015-12-25 22:52:15 =======================================================
2015-12-25 22:52:15 Receiver Model: SRP-2401CI+ (22130), System Type: TMS-S (5)
2015-12-25 22:52:15 Firmware: TF-BCPCE 1.14.00
2015-12-25 22:52:15 RecStripDir: /mnt/hd/DataFiles/RecStrip, OutDir: /mnt/hd/DataFiles/RecStrip_out
2015-12-25 22:52:15 ERROR! '/mnt/hd/ProgramFiles/RecStrip' not found.

Unter ProgramFiles habe ich mittlerweile 2 Ordner angelegt:
RecStripper
RecStrip

In RecStripper schreibt das TAP auch das Log, insofern verstehe ich die Fehlemeldung nicht

Am PC (W8.1 64) mag es auch nicht, erst fehlte eine MSVCR100D.dll, wenn ich sie in dem
Ordner ablege kommt eine andere Fehlermeldung:
The application was unable to start correctly (0x000007b).

Aber wenn es bei Dir läuft wirds wohl auch bei mir noch klappen ... früher oder später

---Edit---

Ich Depp, da war ja noch eine Datei "RecStrip" ohne Endung, wenn ich die nach ProgramFiles
kopiere, dann läufts auch auch dem Topf

---Edit2---

Laut Logfile dauerte es 200sec für 1,1GB, Ersparnis 9,25%, das lohnt sich doch schon jetzt,
ohne die geplanten (*)

[chris86]

Ich bekomme es leider nicht ans Laufen:
...
Am PC (W8.1 64) mag es auch nicht, erst fehlte eine MSVCR100D.dll, wenn ich sie in dem
Ordner ablege kommt eine andere Fehlermeldung:
The application was unable to start correctly (0x000007b).

Darauf hätte ich vielleicht noch hinweisen sollen:
Die Dateien RecStripper.tap und RecStrip müssen beide ins /ProgramFiles Verzeichnis kopiert werden!

Und unter Windows wird das Redistributable Kit von Microsoft VC2010 SP1 (32bit) benötigt:
https://www.microsoft.com/de-DE/downloa ... px?id=8328
Normalerweise sollte das bei neuen Windows-Versionen von Haus aus dabei sein...

Laut Logfile dauerte es 200sec für 1,1GB, Ersparnis 9,25%, das lohnt sich doch schon jetzt,
ohne die geplanten (*)

Naja, hier bleiben aber noch eine Menge offener Fragen:

1.) Sind die resultierenden Dateien wirklich ohne jede Einschränkung abspielbar? (theoretisch müssten sie es sein, da 100% standardkonform - aber sollte man lieber ein paarmal testen)

2.) Arbeitet RecStripper korrekt? -> Dafür sollten die Dateien anschließend durch den TSDoctor gejagt werden, und dort auf Streamfehler geprüft werden.

3.) 200 sec für 1,1 GB ist erstaunlich lang! Unter Windows braucht er nur ein Zehntel der Zeit. Das muss dringend noch optimiert werden! (sofern nicht einfach nur der Topf-Prozessor zu schwach ist)

[Alter Sack]

Und unter Windows wird das Redistributable Kit von Microsoft VC2010 benötigt:
https://www.microsoft.com/de-DE/down...s.aspx?id=8328
Normalerweise sollte das bei neuen Windows-Versionen von Haus aus dabei sein...

Ich hatte die 2013er 64bit Version installiert, die 2010er wollte nicht, hat trotzdem nicht geklappt,
daher habe ich dann die DLL händisch in den Ordner kopiert, vorhanden war sie nämlich.

Naja, hier bleiben aber noch eine Menge offener Fragen:

1.) Sind die resultierenden Dateien wirklich ohne jede Einschränkung abspielbar? (theoretisch müssten sie es sein, da 100% standardkonform - aber sollte man lieber ein paarmal testen)

Ich habe sie mir angeguckt und konnte keine Fehler feststellen, Springen habe ich noch nicht
probiert, es wird gerade gestrippt

2.) Arbeitet RecStripper korrekt? -> Dafür sollten die Dateien anschließend durch den TSDoctor gejagt werden, und dort auf Streamfehler geprüft werden.

Wenn meine Augen zufrieden sind, kann der Dr. ruhig meckern

3.) 200 sec für 1,1 GB ist erstaunlich lang! Unter Windows braucht er nur ein Zehntel der Zeit. Das muss dringend noch optimiert werden! (sofern nicht einfach nur der Topf-Prozessor zu schwach ist)

Für den aktuellen Stripping-Auftrag (8,6GB) werden ca. 40min berechnet.

[Alter Sack]

Für den aktuellen Stripping-Auftrag (8,6GB) werden ca. 40min berechnet.

Ging dann doch schneller, aber ich befürchte, am Ende ist was schief gelaufen, eine Schrumpfung
um 33% dürfte wohl etwas viel sein, Logs hängen an.


---Edit---

Der Film ist komplett vorhanden, Springen kann man auch, Größe vorher 8,7GB, nachher 5,7GB

[chris86]

Ich hatte die 2013er 64bit Version installiert, die 2010er wollte nicht, hat trotzdem nicht geklappt,

Hast du denn die verlinkte Version probiert? Die 32bit 2010er mit SP1? Das müsste die richtige sein...

Wenn meine Augen zufrieden sind, kann der Dr. ruhig meckern

Ganz falsch!!!!!
Es ist SEHR wichtig, dass das Programm das Richtige tut, und keinesfalls den Stream beschädigt. Falls nämlich Schäden auftreten würden, könnten sie bei 100 Filmen völlig unsichtbar ausfallen, während der 101ste Film dann komplett zerstört würde.
Deshalb ist es hoch wichtig, die Standardkonformität des Streams "nachzumessen" statt nur mit dem Auge zu beurteilen.

Ging dann doch schneller, aber ich befürchte, am Ende ist was schief gelaufen, eine Schrumpfung
um 33% dürfte wohl etwas viel sein, Logs hängen an.

Wieso soll etwas schief gegangen sein? Log sieht ok aus.
Von welchem Sender war das denn? Wenn es einer mit vielen Filler-NALUs war (z.B. arte HD), dann könnten 30% durchaus realistisch sein...

... Springen kann man auch ...

Springen kann man eigentlich immer. Wichtig wäre eher flüssiges Vorwärts- und Rückwärts-Spulen.

[Homer]

Auf meinem PC (Windows 7 Ultimate x64 SP 1) gibt es keine MSVCR100D.dll.

Also vcredist_x86.exe heruntergeladen, gestartet und VC "auf den ursprünglichen Status" zurückgesetzt (40219). Keine Änderung.
Dann die vcredist_x64.exe gestartet, installiert (Update von 30319 auf 40219) und immer noch keine MSVCR100D.dll zu finden. (Einige MSVCR100.dll werden gefunden.)

Was nun?

Viele Grüße
Homer

[macfan]

Cool, , noch ein Weihnachtsgeschenk!

Heute bleibt der Fernseher noch aus, aber demnächst werde ich es testen. 10 % würden bei meiner chronisch vollen Platte ja 200 GB bringen, super!

Gruß, Horst

[HD_Topfgucker]

Erster Test.
SAT1 SD ursprünglich 5,5 GB nachher 4,4 GB. Zeitdauer 15 min.
Log Ok. Spulen Ok. Springen Ok.
Werde heute mal einen Multilanguage Stream probieren SRF HD. Ursprünglich 11 GB. Berichte Später.
Aufgefallen ist mir dass sich das laufende Programm während der Arbeit nur über Webcontrol umschalten lässt.
Grüße aus Thüringen

[Alter Sack]

Hast du denn die verlinkte Version probiert? Die 32bit 2010er mit SP1? Das müsste die richtige sein...

Nein, die hier, ich hatte das ja schon probiert, bevor Du den Link gepostet hattest.

Ganz falsch!!!!! ...

Den Dr. muss ich erst mal installieren, das wird heute eher nichts.

Wieso soll etwas schief gegangen sein? Log sieht ok aus.

Naja, die vorhergesagte Zeit war beim Start und während dem Strippen immer um die 40min,
es hat dann aber doch nur 30min gedauert und im LogFile steht was von

Code: Alles auswählen

CutFileLoad: Cannot open cut file

was ich ja nicht deuten kann.

Und 33% Reduzierung ... das wäre ja echt der Hammer

Achja, die Aufnahme war von Das Erste HD.

[jkIT]

Genial. Gleich mit .nav Anpassung

[chris86]

Hast du denn die verlinkte Version probiert? Die 32bit 2010er mit SP1? Das müsste die richtige sein...

Nein, die hier, ich hatte das ja schon probiert, bevor Du den Link gepostet hattest.

Dann kann es auch nicht funktionieren! Es wird exakt genau die Version von 2010 mit SP1 benötigt. 32bit. Und keine andere.

Auf meinem PC (Windows 7 Ultimate x64 SP 1) gibt es keine MSVCR100D.dll.

Also vcredist_x86.exe heruntergeladen, gestartet und VC "auf den ursprünglichen Status" zurückgesetzt (40219). Keine Änderung.
Dann die vcredist_x64.exe gestartet, installiert (Update von 30319 auf 40219) und immer noch keine MSVCR100D.dll zu finden. (Einige MSVCR100.dll werden gefunden.)

Was nun?

Viele Grüße
Homer

Danke für den Hinweis! Ich habe es neu kompiliert. Sollte jetzt mit der vorhandenen DLL auskommen. Bitte nochmal runterladen und testen.

Naja, die vorhergesagte Zeit war beim Start und während dem Strippen immer um die 40min,
es hat dann aber doch nur 30min gedauert und im LogFile steht was von

Code: Alles auswählen

CutFileLoad: Cannot open cut file

was ich ja nicht deuten kann.

Und 33% Reduzierung ... das wäre ja echt der Hammer

Achja, die Aufnahme war von Das Erste HD.

Die Meldung heißt nur, dass es zu der Aufnahme kein cut-File gibt, d.h. sie wurde nicht mit MovieCutter bearbeitet.
Bei dieser drastischen Reduktion wäre es natürlich nun interessant zu wissen, ob diese Datei wirklich korrekt verarbeitet wurde. TSDoctor hilft da weiter...
Apropos: Wie alt ist die Aufnahme eigentlich? Bei meinem letzten Test mit Das Erste HD gab es keine solchen drastischen Reduktionen...

[Homer]

Danke für den Hinweis! Ich habe es neu kompiliert. Sollte jetzt mit der vorhandenen DLL auskommen. Bitte nochmal runterladen und testen.

Läuft. In der Eingabeaufforderung wird nach der letzten Ausgabe (Elapsed time: xxx sec.) noch etwas eingelesen, bevor sich das Programm beendet.

Tests:

Code: Alles auswählen

SWR HD
Von:
Der Südwesten von oben - Das Beste 2015-12-26 04-15.rec                  26.12.2015 00:00    8.823.269.568   VLC media file (.rec)                                    
Der Südwesten von oben - Das Beste 2015-12-26 04-15.rec.inf              26.12.2015 00:00          132.632   Setup-Informationen                                      
Der Südwesten von oben - Das Beste 2015-12-26 04-15.rec.nav              26.12.2015 00:00       19.247.872   NAV-Datei                                                
Nach:
Der Südwesten von oben - Das Beste 2 2015-12-26 04-15.rec                26.12.2015 13:13    8.555.281.152   VLC media file (.rec)                                    
Der Südwesten von oben - Das Beste 2 2015-12-26 04-15.rec.inf            26.12.2015 13:13          132.632   Setup-Informationen                                      
Der Südwesten von oben - Das Beste 2 2015-12-26 04-15.rec.nav            26.12.2015 13:13       19.247.872   NAV-Datei                                                
Packets: 45954529, Dropped (NALU): 254357 (0%), Dropped (all): 1395773 (3%)
Elapsed time: 85.000000 sec.

Servus TV HD
Von:
Stephen Hawking- Geheimnisse des Universums 2015-12-26 03-25.rec         26.12.2015 00:00    3.827.564.032   VLC media file (.rec)                                    
Stephen Hawking- Geheimnisse des Universums 2015-12-26 03-25.rec.inf     26.12.2015 00:00            3.316   Setup-Informationen                                      
Stephen Hawking- Geheimnisse des Universums 2015-12-26 03-25.rec.nav     26.12.2015 00:00        5.759.616   NAV-Datei                                                
Nach:
Stephen Hawking- Geheimnisse des Universums 2 2015-12-26 03-25.rec       26.12.2015 13:18    3.605.577.856   VLC media file (.rec)                                    
Stephen Hawking- Geheimnisse des Universums 2 2015-12-26 03-25.rec.inf   26.12.2015 13:18            3.316   Setup-Informationen                                      
Stephen Hawking- Geheimnisse des Universums 2 2015-12-26 03-25.rec.nav   26.12.2015 13:18        5.759.616   NAV-Datei                                                
Packets: 19935230, Dropped (NALU): 196267 (0%), Dropped (all): 1156178 (5%)
Elapsed time: 33.000000 sec.
  
ZDF HD
Von:
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec                        15.08.2015 00:10   32.157.809.280   VLC media file (.rec)                                    
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.inf                    15.08.2015 00:10            3.312   Setup-Informationen                                      
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.nav                    15.08.2015 00:10       52.962.368   NAV-Datei                                                
Nach:
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec                        26.12.2015 13:24   29.811.264.768   VLC media file (.rec)                                    
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.inf                    26.12.2015 13:24            3.312   Setup-Informationen                                      
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.nav                    26.12.2015 13:24       52.962.368   NAV-Datei                                                
Packets: 167488590, Dropped (NALU): 1130841 (0%), Dropped (all): 12221586 (7%)
Elapsed time: 221.000000 sec.
  
Pro7 HD
Von:
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2014-12-26 20-11.rec         26.12.2014 20:11   16.332.395.520   VLC media file (.rec)                                    
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2014-12-26 20-11.rec.inf     26.12.2014 20:11          132.632   Setup-Informationen                                      
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2014-12-26 20-11.rec.nav     26.12.2014 20:11       35.966.464   NAV-Datei                                                
Nach:
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2 2014-12-26 20-11.rec       26.12.2015 13:51   15.684.262.656   VLC media file (.rec)                                    
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2 2014-12-26 20-11.rec.inf   26.12.2015 13:51          132.632   Setup-Informationen                                      
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2 2014-12-26 20-11.rec.nav   26.12.2015 13:51       35.966.464   NAV-Datei                                                
Packets: 85064560, Dropped (NALU): 0 (0%), Dropped (all): 3375692 (3%)
Elapsed time: 155.000000 sec.

Das Erste HD
Von:
Der freie Wille FSK16 Das Erste HD 2015-03-02 00-09.rec         02.03.2015 00:09   17.872.338.688   VLC media file (.rec)                                    
Der freie Wille FSK16 Das Erste HD 2015-03-02 00-09.rec.inf     02.03.2015 00:09          132.632   Setup-Informationen                                      
Der freie Wille FSK16 Das Erste HD 2015-03-02 00-09.rec.nav     02.03.2015 00:09       31.327.552   NAV-Datei                                                
Nach:
Der freie Wille FSK16 Das Erste HD 2 2015-03-02 00-09.rec       26.12.2015 14:04   16.372.488.256   VLC media file (.rec)                                    
Der freie Wille FSK16 Das Erste HD 2 2015-03-02 00-09.rec.inf   26.12.2015 14:04          132.632   Setup-Informationen                                      
Der freie Wille FSK16 Das Erste HD 2 2015-03-02 00-09.rec.nav   26.12.2015 14:04       31.327.552   NAV-Datei                                                
Packets: 93085098, Dropped (NALU): 0 (0%), Dropped (all): 7811721 (8%)
Elapsed time: 123.000000 sec.

Viele Grüße
Homer

[Sirius]

2 Dateien am Topf geschrumpft:
Aus 3,2GB wurden 1,6 GB - wow 50%
Aus 3,2 GB wurden 1,7 GB

- Spulen geht bei beiden nicht "Diese Funktion steht leider momentan nicht zur Verfügung" (.nav ist vorhanden)
- keine Infotafel (.inf ist nicht vorhanden)
- kann man die Fortschrittsanzeige ausblenden?
- RecStrip.log ist bei mir leer (0 byte), RecStripper.log ist gefüllt

[Homer]

@Sirius: Welcher Sender?

Bei Radioaufnahmen (hr 2): LoadInfFile() E0904: Unknown video stream type.

Viele Grüße
Homer

[Sirius]

[quote="Homer"]Welcher Sender?[/quote]
Die beiden Aufnahmen sind von NDR NDS HD.

[chris86]

2 Dateien am Topf geschrumpft:
Aus 3,2GB wurden 1,6 GB - wow 50%
Aus 3,2 GB wurden 1,7 GB

- Spulen geht bei beiden nicht "Diese Funktion steht leider momentan nicht zur Verfügung" (.nav ist vorhanden)
- keine Infotafel (.inf ist nicht vorhanden)
- kann man die Fortschrittsanzeige ausblenden?
- RecStrip.log ist bei mir leer (0 byte), RecStripper.log ist gefüllt

Da ist etwas schiefgegangen! 50% sind auch definitiv zu viel. Da wird wohl das ende fehlen...
Kannst du den Inhalt des gefüllten Logs zur Verfügung stellen?
Und ist das Problem reproduzierbar? Also tritt es genauso auf, wenn du dieselbe Datei nochmal bearbeitest?