Seite 1 von 31
RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Fr 25. Dez 2015, 19:02
von chris86
Wie versprochen habe ich mich mal an ein Schrumpfungs-TAP gesetzt, welches auf NALUdump basiert, aber speziell für Topfield-Aufnahmen angepasst ist.
Bei mir lassen sich dadurch ca. 10-20 Prozent an Dateigröße einsparen. Die Aufnahmen sollten danach ohne jede Einschränkung auf dem Topf abspielbar (und spulbar) sein.
Code: Alles auswählen
RecStripper TAP
===============
Das TAP verarbeitet alle *.rec-Dateien im Quell-Ordner /DataFiles/RecStrip.
Die verkleinerten Aufnahmen werden im Zielverzeichnis /DataFiles/RecStrip_out abgelegt.
Die Original-Aufnahmen werden hierbei nur gelesen und NICHT verändert. Sie können auf Wunsch anschließend gelöscht werden.
Die Verarbeitung umfasst aktuell folgende Schritte:
- Entfernung von Filler-NALUs
* Entfernung von Null-Paketen (noch keine gesehen)
* Entfernung von Zero-byte-Padding
- Entfernung der EPG-Spur [optional]
(*) geplant
Bei der Verarbeitung werden auch die zugehörigen inf-, nav- und cut-Dateien angepasst.
Die verkleinerten Aufnahmen sollten ohne jede Einschränkung am Topf abspielbar (und auch spulbar) sein.
Es werden sowohl europäische, als auch australische Aufnahmen unterstützt (aktuell aber nur die Erweiterung .rec).
Zur korrekten Verarbeitung müssen (derzeit noch) Informationen aus der inf-Datei ausgelesen werden, und zwar (a) die Video-PID und (b) der Stream-Typ (SD oder HD).
Sollte keine zugehörige inf-Datei vorhanden sein, kann die resultierende Aufnahme Fehler aufweisen.
Das Programm läuft als TAP auf dem Topf, aber auch als Kommandozeilenprogramm unter Windows. Auf dem Topf ist es leider (derzeit noch) ziemlich langsam.
Es würde mich freuen, wenn ihr das Programm mal mit ein paar von euren Aufnahmen testen und berichtet könntet, wie es gelaufen ist.
Ein guter Test ist, wenn man die verkleinerte Aufnahme anschließend auf den PC spielt und in den TS-Doctor füttert. Wenn dieser bei seiner Bearbeitung keine Fehlermeldungen anzeigt, hat RecStripper offenbar alles richtig gemacht ;-)
Download hier:
http://mc.tms-taps.net/downloads/RecStripper.zip
Ich freue mich auf eure Rückmeldungen
AW: Gesucht: TAP zum schrumpfen der HD-Dateien
Verfasst: Fr 25. Dez 2015, 19:17
von Twilight
wow, unglaublich was du alles auf die beine stellst !!! ganz großen
und danke
twilight
AW: Gesucht: TAP zum schrumpfen der HD-Dateien
Verfasst: Fr 25. Dez 2015, 19:58
von HD_Topfgucker
Vielen Dank und allergrößten Respekt
Werde mal testen
Grüße aus Thüringen
HD_Topfgucker
AW: Gesucht: TAP zum schrumpfen der HD-Dateien
Verfasst: Fr 25. Dez 2015, 22:12
von doldi
...ich will nicht geschrumpft werden, lol
saubere Arbeit! THX
AW: Gesucht: TAP zum schrumpfen der HD-Dateien
Verfasst: Fr 25. Dez 2015, 23:09
von Alter Sack
chris86 hat geschrieben:Ich freue mich auf eure Rückmeldungen
Ich bekomme es leider nicht ans Laufen:
Code: Alles auswählen
2015-12-25 22:52:15 *** RecStripper V0.1 (debug) started! (FBLib 2013-02-24+) ***
2015-12-25 22:52:15 =======================================================
2015-12-25 22:52:15 Receiver Model: SRP-2401CI+ (22130), System Type: TMS-S (5)
2015-12-25 22:52:15 Firmware: TF-BCPCE 1.14.00
2015-12-25 22:52:15 RecStripDir: /mnt/hd/DataFiles/RecStrip, OutDir: /mnt/hd/DataFiles/RecStrip_out
2015-12-25 22:52:15 ERROR! '/mnt/hd/ProgramFiles/RecStrip' not found.
Unter ProgramFiles habe ich mittlerweile 2 Ordner angelegt:
RecStripper
RecStrip
In RecStripper schreibt das TAP auch das Log, insofern verstehe ich die Fehlemeldung nicht
Am PC (W8.1 64) mag es auch nicht, erst fehlte eine MSVCR100D.dll, wenn ich sie in dem
Ordner ablege kommt eine andere Fehlermeldung:
The application was unable to start correctly (0x000007b).
Aber wenn es bei Dir läuft wirds wohl auch bei mir noch klappen ... früher oder später
---Edit---
Ich Depp, da war ja noch eine Datei "RecStrip" ohne Endung, wenn ich die nach ProgramFiles
kopiere, dann läufts auch auch dem Topf
---Edit2---
Laut Logfile dauerte es 200sec für 1,1GB, Ersparnis 9,25%, das lohnt sich doch schon jetzt,
ohne die geplanten (*)
AW: Gesucht: TAP zum schrumpfen der HD-Dateien
Verfasst: Sa 26. Dez 2015, 00:13
von chris86
Alter Sack hat geschrieben:Ich bekomme es leider nicht ans Laufen:
...
Am PC (W8.1 64) mag es auch nicht, erst fehlte eine MSVCR100D.dll, wenn ich sie in dem
Ordner ablege kommt eine andere Fehlermeldung:
The application was unable to start correctly (0x000007b).
Darauf hätte ich vielleicht noch hinweisen sollen:
Die Dateien RecStripper.tap und RecStrip müssen
beide ins /ProgramFiles Verzeichnis kopiert werden!
Und unter Windows wird das Redistributable Kit von Microsoft VC2010 SP1 (32bit) benötigt:
https://www.microsoft.com/de-DE/downloa ... px?id=8328
Normalerweise sollte das bei neuen Windows-Versionen von Haus aus dabei sein...
Laut Logfile dauerte es 200sec für 1,1GB, Ersparnis 9,25%, das lohnt sich doch schon jetzt,
ohne die geplanten (*)
Naja, hier bleiben aber noch eine Menge offener Fragen:
1.) Sind die resultierenden Dateien wirklich ohne jede Einschränkung abspielbar? (theoretisch müssten sie es sein, da 100% standardkonform - aber sollte man lieber ein paarmal testen)
2.) Arbeitet RecStripper korrekt? -> Dafür sollten die Dateien anschließend durch den TSDoctor gejagt werden, und dort auf Streamfehler geprüft werden.
3.) 200 sec für 1,1 GB ist erstaunlich lang! Unter Windows braucht er nur ein Zehntel der Zeit. Das muss dringend noch optimiert werden! (sofern nicht einfach nur der Topf-Prozessor zu schwach ist)
AW: Gesucht: TAP zum schrumpfen der HD-Dateien
Verfasst: Sa 26. Dez 2015, 00:25
von Alter Sack
Ich hatte die 2013er 64bit Version installiert, die 2010er wollte nicht, hat trotzdem nicht geklappt,
daher habe ich dann die DLL händisch in den Ordner kopiert, vorhanden war sie nämlich.
chris86 hat geschrieben:Naja, hier bleiben aber noch eine Menge offener Fragen:
1.) Sind die resultierenden Dateien wirklich ohne jede Einschränkung abspielbar? (theoretisch müssten sie es sein, da 100% standardkonform - aber sollte man lieber ein paarmal testen)
Ich habe sie mir angeguckt und konnte keine Fehler feststellen, Springen habe ich noch nicht
probiert, es wird gerade gestrippt
chris86 hat geschrieben:2.) Arbeitet RecStripper korrekt? -> Dafür sollten die Dateien anschließend durch den TSDoctor gejagt werden, und dort auf Streamfehler geprüft werden.
Wenn meine Augen zufrieden sind, kann der Dr. ruhig meckern
chris86 hat geschrieben:3.) 200 sec für 1,1 GB ist erstaunlich lang! Unter Windows braucht er nur ein Zehntel der Zeit. Das muss dringend noch optimiert werden! (sofern nicht einfach nur der Topf-Prozessor zu schwach ist)
Für den aktuellen Stripping-Auftrag (8,6GB) werden ca. 40min berechnet.
AW: Gesucht: TAP zum schrumpfen der HD-Dateien
Verfasst: Sa 26. Dez 2015, 00:51
von Alter Sack
Alter Sack hat geschrieben:Für den aktuellen Stripping-Auftrag (8,6GB) werden ca. 40min berechnet.
Ging dann doch schneller, aber ich befürchte, am Ende ist was schief gelaufen, eine Schrumpfung
um 33% dürfte wohl etwas viel sein, Logs hängen an.
---Edit---
Der Film ist komplett vorhanden, Springen kann man auch, Größe vorher 8,7GB, nachher 5,7GB
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 01:16
von chris86
Alter Sack hat geschrieben:Ich hatte die 2013er 64bit Version installiert, die 2010er wollte nicht, hat trotzdem nicht geklappt,
Hast du denn die verlinkte Version probiert? Die 32bit 2010er mit SP1? Das müsste die richtige sein...
Alter Sack hat geschrieben:Wenn meine Augen zufrieden sind, kann der Dr. ruhig meckern
Ganz falsch!!!!! 
Es ist SEHR wichtig, dass das Programm das Richtige tut, und keinesfalls den Stream beschädigt. Falls nämlich Schäden auftreten
würden, könnten sie bei 100 Filmen völlig unsichtbar ausfallen, während der 101ste Film dann komplett zerstört würde.
Deshalb ist es hoch wichtig, die Standardkonformität des Streams "nachzumessen" statt nur mit dem Auge zu beurteilen.
Alter Sack hat geschrieben:Ging dann doch schneller, aber ich befürchte, am Ende ist was schief gelaufen, eine Schrumpfung
um 33% dürfte wohl etwas viel sein, Logs hängen an.
Wieso soll etwas schief gegangen sein? Log sieht ok aus.
Von welchem Sender war das denn? Wenn es einer mit vielen Filler-NALUs war (z.B. arte HD), dann könnten 30% durchaus realistisch sein...
Alter Sack hat geschrieben:... Springen kann man auch ...
Springen kann man eigentlich immer. Wichtig wäre eher flüssiges Vorwärts- und Rückwärts-Spulen.
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 04:48
von Homer
Auf meinem PC (Windows 7 Ultimate x64 SP 1) gibt es keine MSVCR100D.dll.
Also vcredist_x86.exe heruntergeladen, gestartet und VC "auf den ursprünglichen Status" zurückgesetzt (40219). Keine Änderung.
Dann die vcredist_x64.exe gestartet, installiert (Update von 30319 auf 40219) und immer noch keine MSVCR100D.dll zu finden. (Einige MSVCR100.dll werden gefunden.)
Was nun?
Viele Grüße
Homer
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 07:14
von macfan
Cool,
, noch ein Weihnachtsgeschenk!
Heute bleibt der Fernseher noch aus, aber demnächst werde ich es testen. 10 % würden bei meiner chronisch vollen Platte ja 200 GB bringen, super!
Gruß, Horst
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 07:59
von HD_Topfgucker
Erster Test.
SAT1 SD ursprünglich 5,5 GB nachher 4,4 GB. Zeitdauer 15 min.
Log Ok. Spulen Ok. Springen Ok.
Werde heute mal einen Multilanguage Stream probieren SRF HD. Ursprünglich 11 GB. Berichte Später.
Aufgefallen ist mir dass sich das laufende Programm während der Arbeit nur über Webcontrol umschalten lässt.
Grüße aus Thüringen
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 09:05
von Alter Sack
chris86 hat geschrieben:Hast du denn die verlinkte Version probiert? Die 32bit 2010er mit SP1? Das müsste die richtige sein...
Nein, die
hier, ich hatte das ja schon probiert, bevor Du den Link gepostet hattest.
chris86 hat geschrieben:Ganz falsch!!!!! ...
Den Dr. muss ich erst mal installieren, das wird heute eher nichts.
chris86 hat geschrieben:Wieso soll etwas schief gegangen sein? Log sieht ok aus.
Naja, die vorhergesagte Zeit war beim Start und während dem Strippen immer um die 40min,
es hat dann aber doch nur 30min gedauert und im LogFile steht was von
was ich ja nicht deuten kann.
Und 33% Reduzierung ... das wäre ja echt der Hammer
Achja, die Aufnahme war von Das Erste HD.
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 11:16
von jkIT
Genial. Gleich mit .nav Anpassung
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 12:47
von chris86
Alter Sack hat geschrieben:chris86;1035671 hat geschrieben:Hast du denn die verlinkte Version probiert? Die 32bit 2010er mit SP1? Das müsste die richtige sein...
Nein, die
hier, ich hatte das ja schon probiert, bevor Du den Link gepostet hattest.
Dann
kann es auch nicht funktionieren! Es wird exakt genau die Version von 2010 mit SP1 benötigt. 32bit. Und keine andere.
Homer hat geschrieben:
Auf meinem PC (Windows 7 Ultimate x64 SP 1) gibt es keine MSVCR100D.dll.
Also vcredist_x86.exe heruntergeladen, gestartet und VC "auf den ursprünglichen Status" zurückgesetzt (40219). Keine Änderung.
Dann die vcredist_x64.exe gestartet, installiert (Update von 30319 auf 40219) und immer noch keine MSVCR100D.dll zu finden. (Einige MSVCR100.dll werden gefunden.)
Was nun?
Viele Grüße
Homer
Danke für den Hinweis! Ich habe es neu kompiliert. Sollte jetzt mit der vorhandenen DLL auskommen. Bitte nochmal runterladen und testen.
Alter Sack hat geschrieben:Naja, die vorhergesagte Zeit war beim Start und während dem Strippen immer um die 40min,
es hat dann aber doch nur 30min gedauert und im LogFile steht was von
was ich ja nicht deuten kann.
Und 33% Reduzierung ... das wäre ja echt der Hammer
Achja, die Aufnahme war von Das Erste HD.
Die Meldung heißt nur, dass es zu der Aufnahme kein cut-File gibt, d.h. sie wurde nicht mit MovieCutter bearbeitet.
Bei dieser drastischen Reduktion wäre es natürlich nun interessant zu wissen, ob diese Datei
wirklich korrekt verarbeitet wurde. TSDoctor hilft da weiter...
Apropos: Wie alt ist die Aufnahme eigentlich? Bei meinem letzten Test mit Das Erste HD gab es keine solchen drastischen Reduktionen...
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 14:08
von Homer
chris86 hat geschrieben:Danke für den Hinweis! Ich habe es neu kompiliert. Sollte jetzt mit der vorhandenen DLL auskommen. Bitte nochmal runterladen und testen.
Läuft. In der Eingabeaufforderung wird nach der letzten Ausgabe (Elapsed time: xxx sec.) noch etwas eingelesen, bevor sich das Programm beendet.
Tests:
Code: Alles auswählen
SWR HD
Von:
Der Südwesten von oben - Das Beste 2015-12-26 04-15.rec 26.12.2015 00:00 8.823.269.568 VLC media file (.rec)
Der Südwesten von oben - Das Beste 2015-12-26 04-15.rec.inf 26.12.2015 00:00 132.632 Setup-Informationen
Der Südwesten von oben - Das Beste 2015-12-26 04-15.rec.nav 26.12.2015 00:00 19.247.872 NAV-Datei
Nach:
Der Südwesten von oben - Das Beste 2 2015-12-26 04-15.rec 26.12.2015 13:13 8.555.281.152 VLC media file (.rec)
Der Südwesten von oben - Das Beste 2 2015-12-26 04-15.rec.inf 26.12.2015 13:13 132.632 Setup-Informationen
Der Südwesten von oben - Das Beste 2 2015-12-26 04-15.rec.nav 26.12.2015 13:13 19.247.872 NAV-Datei
Packets: 45954529, Dropped (NALU): 254357 (0%), Dropped (all): 1395773 (3%)
Elapsed time: 85.000000 sec.
Servus TV HD
Von:
Stephen Hawking- Geheimnisse des Universums 2015-12-26 03-25.rec 26.12.2015 00:00 3.827.564.032 VLC media file (.rec)
Stephen Hawking- Geheimnisse des Universums 2015-12-26 03-25.rec.inf 26.12.2015 00:00 3.316 Setup-Informationen
Stephen Hawking- Geheimnisse des Universums 2015-12-26 03-25.rec.nav 26.12.2015 00:00 5.759.616 NAV-Datei
Nach:
Stephen Hawking- Geheimnisse des Universums 2 2015-12-26 03-25.rec 26.12.2015 13:18 3.605.577.856 VLC media file (.rec)
Stephen Hawking- Geheimnisse des Universums 2 2015-12-26 03-25.rec.inf 26.12.2015 13:18 3.316 Setup-Informationen
Stephen Hawking- Geheimnisse des Universums 2 2015-12-26 03-25.rec.nav 26.12.2015 13:18 5.759.616 NAV-Datei
Packets: 19935230, Dropped (NALU): 196267 (0%), Dropped (all): 1156178 (5%)
Elapsed time: 33.000000 sec.
ZDF HD
Von:
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec 15.08.2015 00:10 32.157.809.280 VLC media file (.rec)
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.inf 15.08.2015 00:10 3.312 Setup-Informationen
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.nav 15.08.2015 00:10 52.962.368 NAV-Datei
Nach:
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec 26.12.2015 13:24 29.811.264.768 VLC media file (.rec)
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.inf 26.12.2015 13:24 3.312 Setup-Informationen
Bis ans Ende der Welt ZDF HD 2015-08-15 01-10.rec.nav 26.12.2015 13:24 52.962.368 NAV-Datei
Packets: 167488590, Dropped (NALU): 1130841 (0%), Dropped (all): 12221586 (7%)
Elapsed time: 221.000000 sec.
Pro7 HD
Von:
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2014-12-26 20-11.rec 26.12.2014 20:11 16.332.395.520 VLC media file (.rec)
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2014-12-26 20-11.rec.inf 26.12.2014 20:11 132.632 Setup-Informationen
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2014-12-26 20-11.rec.nav 26.12.2014 20:11 35.966.464 NAV-Datei
Nach:
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2 2014-12-26 20-11.rec 26.12.2015 13:51 15.684.262.656 VLC media file (.rec)
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2 2014-12-26 20-11.rec.inf 26.12.2015 13:51 132.632 Setup-Informationen
Transformers 3 Die dunkle Seite des Mondes Pro7 HD 2 2014-12-26 20-11.rec.nav 26.12.2015 13:51 35.966.464 NAV-Datei
Packets: 85064560, Dropped (NALU): 0 (0%), Dropped (all): 3375692 (3%)
Elapsed time: 155.000000 sec.
Das Erste HD
Von:
Der freie Wille FSK16 Das Erste HD 2015-03-02 00-09.rec 02.03.2015 00:09 17.872.338.688 VLC media file (.rec)
Der freie Wille FSK16 Das Erste HD 2015-03-02 00-09.rec.inf 02.03.2015 00:09 132.632 Setup-Informationen
Der freie Wille FSK16 Das Erste HD 2015-03-02 00-09.rec.nav 02.03.2015 00:09 31.327.552 NAV-Datei
Nach:
Der freie Wille FSK16 Das Erste HD 2 2015-03-02 00-09.rec 26.12.2015 14:04 16.372.488.256 VLC media file (.rec)
Der freie Wille FSK16 Das Erste HD 2 2015-03-02 00-09.rec.inf 26.12.2015 14:04 132.632 Setup-Informationen
Der freie Wille FSK16 Das Erste HD 2 2015-03-02 00-09.rec.nav 26.12.2015 14:04 31.327.552 NAV-Datei
Packets: 93085098, Dropped (NALU): 0 (0%), Dropped (all): 7811721 (8%)
Elapsed time: 123.000000 sec.
Viele Grüße
Homer
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 15:23
von Sirius
2 Dateien am Topf geschrumpft:
Aus 3,2GB wurden 1,6 GB - wow 50%
Aus 3,2 GB wurden 1,7 GB
- Spulen geht bei beiden nicht "Diese Funktion steht leider momentan nicht zur Verfügung" (.nav ist vorhanden)
- keine Infotafel (.inf ist
nicht vorhanden)
- kann man die Fortschrittsanzeige ausblenden?
- RecStrip.log ist bei mir leer (0 byte), RecStripper.log ist gefüllt
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 16:51
von Homer
@Sirius: Welcher Sender?
Bei Radioaufnahmen (hr 2): LoadInfFile() E0904: Unknown video stream type.
Viele Grüße
Homer
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 17:03
von Sirius
[quote="Homer"]Welcher Sender?[/quote]
Die beiden Aufnahmen sind von NDR NDS HD.
AW: RecStripper - TAP zum Schrumpfen der Aufnahmen
Verfasst: Sa 26. Dez 2015, 17:13
von chris86
Sirius hat geschrieben:2 Dateien am Topf geschrumpft:
Aus 3,2GB wurden 1,6 GB - wow 50%
Aus 3,2 GB wurden 1,7 GB
- Spulen geht bei beiden nicht "Diese Funktion steht leider momentan nicht zur Verfügung" (.nav ist vorhanden)
- keine Infotafel (.inf ist
nicht vorhanden)
- kann man die Fortschrittsanzeige ausblenden?
- RecStrip.log ist bei mir leer (0 byte), RecStripper.log ist gefüllt
Da ist etwas schiefgegangen! 50% sind auch definitiv zu viel. Da wird wohl das ende fehlen...
Kannst du den Inhalt des gefüllten Logs zur Verfügung stellen?
Und ist das Problem reproduzierbar? Also tritt es genauso auf, wenn du dieselbe Datei nochmal bearbeitest?