Samba

[Homer]

@Homer
Ev. testet du die Sonderzeichen mal einzeln durch, so habe ich die Funktionen Anfangs auch getestet.
zB. 0x3a:0xf7 nur damit der Doppelpunkt ersetzt wird.

Funktioniert nicht: Dateien mit einem Doppelpunkt erscheinen nicht - auch nicht mit 8.3-Namen.
0x3a:0x30 ersetzt einen Doppelpunkt durch eine Null: Funktioniert, allerdings fehlen jetzt alle Dateien mit einer Null im Namen.

Vermutung: "unix charset = ascii" verträgt sich nicht mit einigen (allen?) Ersatzzeichen.
Ohne "unix charset = ascii" wird : durch ÷ ersetzt, allerdings fehlen jetzt die Dateien mit einem Umlaut im Namen.

Mit einer Non-UTF8-Firmware bekomme ich das z. Zt. nicht ans Laufen. Es könnte vielleicht funktionieren, wenn ich bei den catia:mappings ein ASCII-ä in ein UTF8-ä umsetzen könnte. Dazu müsste man wahrscheinlich ein "char" (also zwei Byte) statt nur ein "byte" angeben können. Zu dieser Syntax habe ich auf die Schnelle nichts gefunden. Die Zeichenumsetzung müsste dann so sein wie in dem TAP, das man nach dem Wechsel auf eine UTF8-Firmware einmalig ausführt.

Viele Grüße
Homer

[wolfi133]

Vermutung: "unix charset = ascii" verträgt sich nicht mit einigen (allen?) Ersatzzeichen.

Also liegt es bei dir an der alten Firmware ohne UTF-8, dachte schon ich habe noch irgendetwas anderes eingestellt, da es ja bei mir ja funktionierte...

Ich habe noch DIESEN Link entdeckt, darin werden die Sonderzeichen mit zwei Byte Zeichen ersetzt, ev. willst du mal testen.

vfs objects = catia
catia:mappings = 0x22:0xf022, 0x2a:0xf02a, 0x2f:0xf02f, 0x3a:0xf03a, 0x3c:0xf03c, 0x3e:0xf03e, 0x3f:0xf03f, 0x5c:0xf05c, 0x7c:0xf07c

lg Wolfgang

[jkIT]

Vermutung: "unix charset = ascii" verträgt sich nicht mit einigen (allen?) Ersatzzeichen.
Ohne "unix charset = ascii" wird : durch ÷ ersetzt, allerdings fehlen jetzt die Dateien mit einem Umlaut im Namen.

Mit einer Non-UTF8-Firmware bekomme ich das z. Zt. nicht ans Laufen...

Vielleicht hilft bei Non-UTF8-Firmware ein anderer Zeichensatz, z.B. "ISO-8859-1" o.ä. (evtl. auch "ISO8859-1" geschrieben)

[Homer]

Ich habe noch DIESEN Link entdeckt, darin werden die Sonderzeichen mit zwei Byte Zeichen ersetzt, ev. willst du mal testen.

Danke. Hier werden die neun Sonderzeichen einfach anderen nichtdarstellbaren Zeichen umkehrbar eindeutig zugeordnet. Das ergibt zusätzliche Möglichkeiten für weitere Sonderzeichen, wie z. B. 0x05 für die Codierung.

Vielleicht hilft bei Non-UTF8-Firmware ein anderer Zeichensatz, z.B. "ISO-8859-1" o.ä. (evtl. auch "ISO8859-1" geschrieben)

Ja, das ist es. Du bist mein Held.
Mit meiner Non-UTF8-Firmware verwende ich jetzt:

Code: Alles auswählen

unix charset = ISO-8859-1

Das erste Mapping

Code: Alles auswählen

catia:mappings = 0x05:0xa6, 0x22:0xa8, 0x2a:0xa4, 0x2f:0xf8, 0x3a:0xf7, 0x3c:0xab, 0x3e:0xbb, 0x3f:0xbf, 0x5c:0xff, 0x7c:0xf07c

ließ einige Dateien verschwinden. Dies liegt an 0x3f:0xbf, das '?' zu '¿' umsetzt. Dadurch wurden alle Dateien, die durch Automove schon ein '¿' enthielten, ausgeblendet.

Ich setze 0x3f ('?') nun um zu 0xf03f, und alle Dateien sind sichtbar.
Analog wird 0x7c ('|') zu 0xf07c. Dadurch wird 0xa6 ('¦') frei:
Neue Umsetzung Sonderzeichen für die Codierung: 0x05 zu 0xa6 ('¦').

Alle zehn auf einmal:

Code: Alles auswählen

catia:mappings = 0x05:0xa6, 0x22:0xa8, 0x2a:0xa4, 0x2f:0xf8, 0x3a:0xf7, 0x3c:0xab, 0x3e:0xbb, 0x3f:0xf03f, 0x5c:0xff, 0x7c:0xf07c

Mit UTF8-Firmware könnte das Sonderzeichen für die Codierung 0x15 sein. Dann wäre das Mapping:

Code: Alles auswählen

catia:mappings = 0x15:0xa6, 0x22:0xa8, 0x2a:0xa4, 0x2f:0xf8, 0x3a:0xf7, 0x3c:0xab, 0x3e:0xbb, 0x3f:0xf03f, 0x5c:0xff, 0x7c:0xf07c

Bitte testen. Dabei kontrollieren, dass durch das Mapping nicht weniger Dateien angezeigt werden als ohne Mapping, und, dass es keine 8.3-Dateinamenverkürzungen gibt.

Viele Grüße
Homer

[wolfi133]

Hallo zusammen!
Ich bin jetzt auch mal zum Testen gekommen! :

Mit UTF8-Firmware könnte das Sonderzeichen für die Codierung 0x15 sein. Dann wäre das Mapping:

Code: Alles auswählen

catia:mappings = 0x15:0xa6, 0x22:0xa8, 0x2a:0xa4, 0x2f:0xf8, 0x3a:0xf7, 0x3c:0xab, 0x3e:0xbb, 0x3f:0xf03f, 0x5c:0xff, 0x7c:0xf07c

Bitte testen. Dabei kontrollieren, dass durch das Mapping nicht weniger Dateien angezeigt werden als ohne Mapping, und, dass es keine 8.3-Dateinamenverkürzungen gibt.

Mit diesen Werten werden bei mir unter UTF8 auch alle Dateien korrekt angezeigt. Also von meiner Seite ein OK für die Werte!
Ob das umwandeln von "0x15" zu "0xa6" notwendig ist kann ich aber nicht beurteilen, da bei mir keine Aufnahme mit dem "0x15" Zeichen vorhanden ist...

Ev. will noch jemand anderes testen ob bei ihm solche Aufnahmen vorhanden sind?
Dazu kann man mit telnet+busybox und den unteren Befehl nach Aufnahmen mit den "0x15" Zeichen suchen und diese dann mit dem verbundenen Samba Verzeichnis am PC vergleichen.

Code: Alles auswählen

find /mnt/hd/DataFiles -name "*" | grep "`echo -e "\x15"`"

[/indent]

lg Wolfgang

[Homer]

Danke fürs Testen. "Solche Aufnahmen" entstehen nur außerhalb von SmartEPG - also manuell gestartet oder aus dem originalen EPG programmiert.

An den Mappings habe ich noch etwas geändert, um keine 8.3-Dateinamen zu erhalten, die durch die nichtdarstellbaren Zeichen 0xf03f und 0xf07c bedingt werden.

Ich setze 0x3f ('?') nun um zu 0xd7 (neues Zeichen '×'),
und 0x7c ('|') wieder zu 0xa6 ('¦').
Die Umsetzung Sonderzeichen für die Codierung: 0x05 zu 0xb6 (neues Zeichen '¶').

Code: Alles auswählen

catia:mappings = 0x05:0xb6, 0x22:0xa8, 0x2a:0xa4, 0x2f:0xf8, 0x3a:0xf7, 0x3c:0xab, 0x3e:0xbb, 0x3f:0xd7, 0x5c:0xff, 0x7c:0xa6

Die Umsetzung ist jetzt wieder näher an der ursprünglichen Zuordnung:

Code: Alles auswählen

  0x05     0xb6: ¶
  0x22: "  0xa8: ¨
  0x2a: *  0xa4: ¤
  0x2f: /  0xf8: ø
  0x3a: :  0xf7: ÷
  0x3c: <  0xab: «
  0x3e: >  0xbb: »
  0x3f: ?  0xd7: ×
  0x5c: \  0xff: ÿ
  0x7c: |  0xa6: ¦

Ist es schon jemandem gelungen, eine Datei mit einem 0x2f ('/') im Namen zu erzeugen?

Viele Grüße
Homer

[wolfi133]

Hallo Homer!

"Solche Aufnahmen" entstehen nur außerhalb von SmartEPG - also manuell gestartet oder aus dem originalen EPG programmiert.

Ich habe jetzt auch mal ohne Taps ein paar Aufnahmen getestet, hatte aber trotzdem kein 0x15 Zeichen?

An den Mappings habe ich noch etwas geändert..

Ich setze 0x3f ('?') nun um zu 0xd7 (neues Zeichen '×'),
und 0x7c ('|') wieder zu 0xa6 ('¦').
Die Umsetzung Sonderzeichen für die Codierung: 0x05 zu 0xb6 (neues Zeichen '¶').

Funktioniert bei mir auch ohne Probleme!
Eine kleine Anmerkung noch zum Backslash, dieser ist ja mit "0x5c = " zu "0xff = ÿ" definiert. Hier könnte man ev. auch den Mittelpunkt "0xb7 = ·" oder Oberstrich "0xaf = ¯" verwenden, wäre optisch vielleicht einfacher zuordenbar als das Umlaut-ÿ.

Ist es schon jemandem gelungen, eine Datei mit einem 0x2f ('/') im Namen zu erzeugen?

Nein, wüßte jetzt auch nicht wie der erstellt werden könnte...

lg Wolfgang

[Homer]

Hallo Homer!

Ich habe jetzt auch mal ohne Taps ein paar Aufnahmen getestet, hatte aber trotzdem kein 0x15 Zeichen?

Jetzt ist eine gute Gelegenheit: ¶James Bond 007 - In tödlicher Mission.rec im ZDF oder ZDF HD manuell starten und über Samba den Dateinamen ansehen - bevor Automove nach Aufnahmeende das Sonderzeichen umbenennt.

Eine kleine Anmerkung noch zum Backslash, dieser ist ja mit "0x5c = " zu "0xff = ÿ" definiert. Hier könnte man ev. auch den Mittelpunkt "0xb7 = ·" oder Oberstrich "0xaf = ¯" verwenden, wäre optisch vielleicht einfacher zuordenbar als das Umlaut-ÿ.

Prinzipiell ist nichts gegen diese Zeichen zu sagen. Wem sie besser gefallen, kann sie verwenden. ('ÿ' kann leider leicht mit 'y' verwechselt werden.)

Viele Grüße
Homer

[jkIT]

Ich würde gerne eure Zeichensatz Mappings in die smb.conf des Downloadpakets übernehmen, habe mich aber selbst noch nicht damit beschäftigt.

Was passiert, falls man eine Datei auf den Topf kopiert, deren Name den Ersatz vom Slash ('/') enthält? Sollte man die Umsetzung von 0x2f ('/') nicht lieber rauslassen?

Könnte man ein Mapping vorgeben, das für UTF und Non-UTF Töpfe funktioniert, wenn man beide Steuercodes für den Zeichensatz (0x05, 0x15) verwendet? Muss/Sollte man dann verschiedene Ersatz-Zeichen dafür setzen?

[Homer]

Was passiert, falls man eine Datei auf den Topf kopiert, deren Name den Ersatz vom Slash ('/') enthält? Sollte man die Umsetzung von 0x2f ('/') nicht lieber rauslassen?

Dann fehlt diese Datei bei Samba. Die Umsetzung ist wohl unnötig.

Könnte man ein Mapping vorgeben, das für UTF und Non-UTF Töpfe funktioniert, wenn man beide Steuercodes für den Zeichensatz (0x05, 0x15) verwendet? Muss/Sollte man dann verschiedene Ersatz-Zeichen dafür setzen?

Nein, das mag Samba nicht. Die Rückumsetzung ist nicht mehr eindeutig. Man muss immer verschiedene Ersatzzeichen verwenden - oder auf den Ersatz verzichten.

Fehler haben sich bei meinen Tests immer so ausgewirkt, dass einige Dateien via Samba nicht mehr sichtbar waren (Anzahl kleiner als via ftp) oder einige Namen im 8.3-Format waren (insbesondere war der Dateityp in Großbuchstaben).

Viele Grüße
Homer

[jkIT]

Nein, das mag Samba nicht. Die Rückumsetzung ist nicht mehr eindeutig. Man muss immer verschiedene Ersatzzeichen verwenden - oder auf den Ersatz verzichten.

Würde das dann gehen

Code: Alles auswählen

  0x05     0x2464: ?
  0x15     0x246e: ?

In der "Nähe" hab ich auch einen möglichen Backslash Ersatz gesehen:

Code: Alles auswählen

  0x05     0x2572: ?

[Homer]

Probiere es aus. Mit Zwei-Byte-Charactern hatte ich nie "sichtbaren" Erfolg. Vermutlich geht nicht mehr als dort zu sehen ist.

Viele Grüße
Homer

[jkIT]

Probiere es aus. Mit Zwei-Byte-Charactern hatte ich nie "sichtbaren" Erfolg.

Ok, also die 2Byte-Zeichen gehen nicht.

Beim non-UTF Topf funktioniert die Ersetzung 0x05:0xb6

Beim UTF Topf funktioniert weder 0x05:0xb6 noch 0x15:0xa4

BTW: Kann mir bitte jemand sagen, welches TAP das 0x05 an Anfang entfernt? Nach einiger Zeit waren nämlich die mühsam erzeugten Testdateien bereinigt.

[Homer]

Automove macht das bei mir. Zum Testen einfach schneller sein und die Aufnahme in einen Unterordner verschieben.

Viele Grüße
Homer

[Acade]

0x05 am Anfang von DVB-Strings ist optional. Wenn es fehlt, gilt Latin-1 (so steht's im Standard).

[jkIT]

Automove macht das bei mir. Zum Testen einfach schneller sein und die Aufnahme in einen Unterordner verschieben.

Automove läuft bei mir nicht.
Noch andere Vorschläge?

0x05 am Anfang von DVB-Strings ist optional. Wenn es fehlt, gilt Latin-1 (so steht's im Standard).

Danke, ja, das weiß ich. Leider ist der Standard nicht für Dateinamen gedacht

Bei meinem Non-UTF Topf kann ich Dateinamen, die mit 0x05 beginnen, per Direktaufnahme erzwingen. Das catia Modul in Samba setzt das dann auch korrekt um.

Beim UTF Topf sind die Dateinamen aller Aufnahmen, die ich per FTP hochgeladen habe in ISO-8859 (o.ä.) und beginnen mit 0x05. Diese werden via SMB ohne catia Module als DOS 8.3 Namen angezeigt und mit catia Module erscheinen sie gar nicht.

Zu Test hatte ich auch einen Dateinamen erzeugt, der mit 0x15 beginnt. Mit dem selben Resultat. Andere Ersetzungen (z.B. ":" -> "÷") funktionieren.

[Homer]

Beim UTF Topf sind die Dateinamen aller Aufnahmen, die ich per FTP hochgeladen habe in ISO-8859 (o.ä.) und beginnen mit 0x05. Diese werden via SMB ohne catia Module als DOS 8.3 Namen angezeigt und mit catia Module erscheinen sie gar nicht.

Hast du auch mal "unix charset = ISO-8859-1" in der conf probiert?
Versuche auch mal 0x0005 statt 0x05 zu ersetzen.

Wenn auch Direktaufnahmen mit einem Umlaut im Dateinamen ohne 0x05 o. ä. erfolgen, dann scheint es dieses Problem auf Töpfen mit UTF8-Firmware nicht zu geben.

Viele Grüße
Homer

[jkIT]

Hast du auch mal "unix charset = ISO-8859-1" in der conf probiert?

Das funktioniert, verhunzt allerdings die Aufnahmen mit UTF8 Kodierung.

Versuche auch mal 0x0005 statt 0x05 zu ersetzen.

Geht wie erwartet nicht,

Wenn auch Direktaufnahmen mit einem Umlaut im Dateinamen ohne 0x05 o. ä. erfolgen, dann scheint es dieses Problem auf Töpfen mit UTF8-Firmware nicht zu geben.

Das Problem ist bei mir nur der eingebaute FTP-Server.

[Homer]

Das funktioniert, verhunzt allerdings die Aufnahmen mit UTF8 Kodierung.

Kannst du auf diesem Weg den Hexcode erkennen, der bei den UTF8-Aufnahmen am Anfang steht?

Viele Grüße
Homer

[jkIT]

Die UTF Namen haben keinen HEX-Code am Anfang.

Ich prüfe das mit der WebControl API:

Code: Alles auswählen

http[i] :[ /i]//[ip :p ort]/api?function=files&action=get!&dir=%2FDataFiles

Die gibt zu jedem Namen auch die Hex-Codes als String aus:

Code: Alles auswählen

Aufnahme:
    "name":"Die K[color=Red][b]ü[/b][/color]chenschlacht.rec",
    "name_hex":"446965204b[color=Red][b]c3bc[/b][/color]6368656e7363686c616368742e726563",
FTP:
    "name":"Wer wei[color=Red][b]ß[/b][/color] denn sowas.rec",
    "name_hex":"[color=Red][b]05[/b][/color]57657220776569[color=Red][b]df[/b][/color]2064656e6e20736f7761732e726563",