BackgroundCopy TAP

[Twilight]

hiermit veröffentliche ich ein weiteres tap

was kann es und was war die idee dahinter?

es ging mir darum ein tap zu haben das:

- im hintergrund files auf ein nas oder externe festplatte kopiert
- das ganze automatisch abläuft
- wenn dieser Kopierprozess unterbrochen wird es diesen Fortsetzen kann
- den Receiver bei diesem Vorgang nicht blockiert wird.

für die erste Version sind die Verzeichnisse mal fix vorgegeben:

DataFiles/MoveToNAS....hier werden die Files die auf extern verschoben werden sollen abgelegt
DataFiles/NAS-Share....hier werden die Files hin kopiert.

ein löschen ist im moment noch nicht aktiviert, obwohl es bei unseren tests keinerlei probleme gab.
d.h. alles was in MoveToNAS ist wird in NAS-Share gespiegelt

legt man in MoveToNAS ein unterverzeichnis an, so wird dieses (wenn nicht vorhanden) auch extern angelegt und die enthaltenen Files dorthin kopiert.


Mit der zukünftigen Automove Version hat man dann 2 möglichkeiten:

- files in das MoveToNAS Verzeichnis in entsprechende Unterverzeichnisse schieben lassen -> bgc verschiebt dann auf das NAS/Platte in die entschprechenden Verzeichnisse direkt.
oder die Files direkt in MoveToNAS verschieben lassen, diese landen dann im root des NAS und automove von dort in die Unterverzeichnisse verschieben lassen.


Was ist für die Zukunft geplant?

- wenn es nötig ist wird die Geschwindigkeit wärend des Kopierens bei start von Aufnahmen herunter gesetzt (verpixelungen/receiver entlasten)
- Spiegel und Move Verzeichnisse
- Eventuell ein Konfig TAP mit dem man selbst Verzeichnisse zum Spiegeln/Verschieben frei geben/markieren kann.

Ich möchte mich hier mal wieder bei Alex bedanken, der für die Kernfunktion (Kopierfunktion) verantwortlich ist, und mich immer und überall unterstützt hat und

UPDATE auf V0.2:

+ Setup TAP verfügbar
+ Verzeichnisse eintellbar
+ Kopiergeschwindigkeit bei externer Harddisk mit Linux Dateisystem schneller bzw. einstellbar
+ ini wird erstellt mit den Werten:

Code: Alles auswählen

CopySpeed=10 		;mögliche Werte: 1-10, nur aktiv wenn MountType = Linux (2)
MountType=0  		;Mögliche Werte: 0-2, 0...NAS, 1...Harddisk NTFS, 2...Harddisk Linux (Ext2/3, JFS)
MoveDir=MoveToNAS	;Verzeichnis von dem aus kopiert/verschoben wird, maximal 20 Stellen
DestDir=NAS-Share	;Verzeichnis in das kopiert/verschoben wird, maximal 20 Stellen
Move=0			;mögliche Werte 0 und 1, 0...Files werden kopiert, 1...Files werden verschoben

Für den Speed, wenn eine externe Linuxplatte genutzt wird, epfehle ich 8, dann sollte der SRP auch noch gut bedienbar sein.
Maximal habe ich mit Speed 10 16-18MB/s geschafft.

frohe ostern !!!!

update v0.3

Code: Alles auswählen

+ NASBootTime einstellbar
~ der angeforderten Speicher für den kopierprozess wird so lange halbiert, bis Speicher vom System reserviert werden kann.
~ Setup TAP: Speed nur bei mount Typ Linux aktiv

update v0.4

Code: Alles auswählen

+ Entfernen von Sonderzeichen (üöäßÜÖÄ), im Setup einstellbar
+ Entfernen von | Zeichen Vor dem Filenamen
+ Vergleich ob Source File und Destination File gleich oder unterschiedlich sind
+ Bei bedarf wird ein unique Filename erstellt ("-x wird automatisch angehängt)

update v0.5

Setup tap:

Code: Alles auswählen

+ bei der Verzeichnisauswahl stehen nun alle Verzeichnisse zur Verfügung
+ gemountete Verzeichnisse werden färbig dargestellt
+ gelber Text bei gemounteten Verzeichnissen auch im Hauptfenster

BGC:

Code: Alles auswählen

+ Es ist nun möglich in beide Richtungen zu kopieren (NAS->SRP/SRP->NAS), abhängig von den Setupeinstellungen
+ Aufruf des Setup-TAPs, wenn eine der folgenden Bedingungen gegeben ist:
  * Quell- oder Zielverzeichnis wurde nicht definiert (erster Aufruf ohne INI)
  * Quell- und Zielverzeichnis sind identisch
  * Quell- und Zielverzeichnis sind interne Verzeichnisse
~ BugFix: Datein mit bestimmten Größen wurden beim fortsetzen nicht korrekt erkannt und mit neuem Namen erneut kopiert

update v0.6

Code: Alles auswählen

+ Setup: neue Einstellung "Stop Mount TAP"
+ BGC:  je nach Einstellung "Stop Mount TAP" wird nach beenden das Kopiervorganges die Mount TAPs "NASMount und TMSMount" gestoppt.

update v0.6a

Code: Alles auswählen

+ BGC: Zusätzliche Schleife um NASMount die Zeit zu geben den Screen zu löschen
~ BGC: Log Ausgaben etwas aufgeräumt

update V0.7:

Code: Alles auswählen

+ BGC: je nach Einstellung wird bei bedarf nur mehr eines der Mount TAPs (NASMount, TMSMount) gestoppt.

update V0.8:

Code: Alles auswählen

+ Eingestellte Kopiergeschwindigkeit wird nun auch bei MounType NAS und Linux berücksichtigt
~ Mögliche Faktoren für CopySpeed von max 10 auf max 4 geändert
~ Bugfix: Reboot bei Verzeichnisnamen für Move und DestDir die länger als 20 Zeichen waren

hintergrund ist das es offensichtlich mehr user gibt die via nas performance probleme haben...jetzt kann jeder selbst etwas feinjustage machen.
ist der wert 4 für copyspeed eingetragen, so wird der selbe wert verwendet als voher ohne feintuning.


update V0.8a:

Code: Alles auswählen

~ Geschwindigkeitsberechnung für Linux/JFS korrigiert

update V0.9:

Code: Alles auswählen

+ UTF8 Unterstützung für Files und Log File
+ (DEC) kann beim kopieren entfernt werden lassen, siehe Setup (Defaultwert = Ein)

update V0.95:

Code: Alles auswählen

+ So lange RBN arbeitet wartet BGC mit dem Start des Kopiervorganges um Ressourcen zu sparen.

update V0.96:

Code: Alles auswählen

+ weiter Sonderzeichen werden beim kopieren/verschieben entfernt/ersetzt: éèêúùû...usw.

update 0.97:

Code: Alles auswählen

+ .ts/.ts.inf/.ts.inf werden als Sourcefiles akzeptiert
+ Option zum setzen von .ts Hardlinks wenn .rec Files kopiert werden

V0.98:

Code: Alles auswählen

+ mit einem Job File kann SmartFiler Aufträge an BGC erteilen

die änderung sieht jetzt nicht spektakulär aus, war aber eine menge arbeit.
diese version kommt erst dann richtig zu geltung wenn die nächste smart filer version veröffentlicht wird.
also freut euch auf das was da kommen wird

V0.98a.beta:

Code: Alles auswählen

+ Bugfix Jobfile: Jobfiles werden nun auch ohne Erstkonfiguration nach Vorgabe ausgeführt
+ Bugfix: möglicher Reboot durch überlauf einer Variable

V0.98c.beta:

Code: Alles auswählen

+ Bugfix: Files werden wieder gelöscht, nachdem verschieben
+ Bugfix: Jobfile Smartfiler: versuch das "abbiegen" von BGC zu fixen

V0.98d.beta:

Code: Alles auswählen

+ Bugfix: "Normal Job" Verzeichnisbaum wurde falsch berechnet

update v1.00

Code: Alles auswählen

Setup:
+ Log Lengh: kann zwischen kurzem und langen Log Ausgaben gewählt werden (default: kurz)

BGC:

+ Bugfix: Falsche log ausgabe bei File List erstellung, dadurch hatte man den Eindruck das BGC kurz "abgebogen" ist
+ Log Ausgaben bereinigt und Berücksichtigung der Log Länge bei den Log Ausgaben
~ Ausgabe der Übertragungsdaten nur mehr bei 1/25/50/75/99 % (per putty weiterhin bei jeder Änderung)
+ Ausgabe einer Übertragungsstatistik bei rec Files 
+ TAPCOM: Ausgabe der relevanten Daten zum aktuellen File

update v1.01:

Code: Alles auswählen

~ TAPCOM Unterstützung weiter ausgebaut
+ Bugfix: TAPCOM: Statistikausgabe verfeinert 
+ TAPCOM: Statusausgabe: WaitForMount/waitForRBN/NormalWork/JobWork

da kurzfristig und völlig unerwartet jemand auf den tapcom zug aufgesprungen ist, ist für die jenigen die dies testen/nutzen wollen ein update zwingend erforderlich, da es sonst keine anzeige gibt.

update auf V1.12:

Code: Alles auswählen

~ JobFiles werden nur mehr bei erfolgreicher Übertragung gelöscht
~ es werden keine Verzeichnisse für Files aus JobFiles erstellt, solche Jobs gelten als Fehlerhaft
+ wird BGC beim Start des Receivers gestartet und es stehen JobFiles zu bearbeiten an, wird 3 Minuten gewartet, damit sich das System stabilisieren kann.
+ kann ein JobFile nicht erfolgreich abgeschlossen werden, wird es nach JobFail verschoben
+ BugFix: Source Files werden nur mehr gelöscht wenn .rec und .inf erfolgreich übertragen wurden
 

update auf V1.13:

Code: Alles auswählen

+ Bugfix: Jobfile wurde fälschlicher weise immer verschoben und nicht gelöscht

update auf V1.14

Code: Alles auswählen

+ Bugfix: Schleife wenn JobFile fehlerhaft war
+ aktuelle FirebirdLib

update v1.15:

Code: Alles auswählen

+ Bugfix: Sourcefiles wurden nicht gelöscht

update V1.16

Code: Alles auswählen

+ Verbesserte Darstellung von Job Files via SmartEPG Infobox

update V1.17

Code: Alles auswählen

+ man kann nun via BGC alle Files von Datafiles automatisch nach MoveToNAS verschieben lassen.
 (Teil)Verschlüsselte Aufnahmen werden nicht verschoben.

es werden nur files aus datafiles verschoben (keine unterverzeichnisse), nur wenn sie unverschlüsselt sind
 und das timing sollte so gewählt sein das Automove genug zeit hat vorher zu verschieben

dowload via TapToDate oder direkt über diesen link.

twilight

[FireBird]

Dankeschön.

[Stiefel72]

Danke!!

[WarmRed]

Dankeschön

[xyzzyx]

Danke.

[ramibi]

Moin Hannes,

auf sowas habe ich schon lange gewartet

Endlich eine Verschiebetap, daß den SRP nicht blockiert - ich werde es ausprobieren

Vielen Dank dafür .....

[steve]

Uuupsi!
Was Neues!

Vielen Dank! Wird getestet!

[buko]

... auch von mir ein

[BluField62]

Danke Hannes, muss ich irgendwo etwas umbenennen, wenn ich kein NAS habe und Filme nur auf meine externe Platte verschieben will?

[postler1972]

Ich benötige das Tap zwar noch nicht, sage aber trotzdem Danke das ihr nicht aufhört und sinnvolle Taps zusammen baut

[Stiefel72]

Also muss ich meine Synology in der ini von NAS Mount NAS-Share nennen damit das TAP dahin kopiert? Oder verstehe ich das jetzt irgendwie nicht? :-)

[Twilight]

Danke Hannes, muss ich irgendwo etwas umbenennen, wenn ich kein NAS habe und Filme nur auf meine externe Platte verschieben will?

Also muss ich meine Synology in der ini von NAS Mount NAS-Share nennen damit das TAP dahin kopiert? Oder verstehe ich das jetzt irgendwie nicht? :-)

das gemountete verzeichnis (am srp) in das kopiert werden soll muß im moment NAS-Share heißen.
also auch die externe platte muß in dieses verzeichnis gemountet werden (ich denke das geht, oder )

twilight

[BluField62]

wenn du sagst "muss gemounted werden", heißt also, dass ich die mount.ini des Mount TAPs dementsprechend umbenennen muss?
EDIT: nein, geht ja nicht, dann klappt das mit den externen Aufnahmen ja nicht mehr?!

[Twilight]

naja, für einen test kannst du es ja mal umbennen

das tap wird in zukünftigen versionen sicher noch flexibler, aber jetzt warte ich mal das feedback ab.

twilight

[Twilight]

Dankeschön.

ich habe zu danken

Ich möchte mich hier mal wieder bei Alex bedanken, der für die Kernfunktion (Kopierfunktion) verantwortlich ist, und mich immer und überall unterstützt hat und

twilight

[Stiefel72]

Alles klar dann werde ich mal umbenennen. :-)

[FireBird]

Im Prinzip macht das TAP nichts anderes, als einen ganzen Baum aus einem Verzeichnis (DataFiles/MoveToNAS) in ein anderes Verzeichnis (DataFiles/NAS-Share) umzukopieren. Wenn ein anderes physisches Gerät (externe Platte oder NAS) auf NAS-Share gemountet wird, dann landen die Dateien eben auf diesem Gerät.

Ich hoffe, die Verwirrung ist jetzt komplett.

[steve]

Ich hoffe, die Verwirrung ist jetzt komplett.

Ich frage mich da gerade, was passiert, wenn man sowohl auf ein NAS, als auch auf eine externe Platte kopieren wollen würde......

JETZT ist die Verwirrung komplett!!

[BluField62]

wenn ich die mount.ini umbenenne, wo landen dann externe Aufnahmen?

[Twilight]

Blue du benennst nichts um den dann würde das Tap nicht mehr laufen. Du musst die Uni editieren. Und die externen aufnahmen wurden schlechtesten falls auf der internen landen. Wobei ich glaube das das trotzdem funktionieren würde.

Twilight