rsync, 100GB große Datei in Etappen auf einen Webserver hochladen

D

deAlek

Neues Mitglied
Thread Starter
Dabei seit
14.08.2014
Beiträge
8
Reaktionspunkte
0
Hallo zusammen,

ich bin ein langjähriger Dropbox Nutzer, aber habe gerade bei Strato HiDrive diese Jubiläumsangebot gekauft und möchte jetzt gerne meine Dateien von Dropbox zum HiDrive migrieren:

Ich habe bisher immer in meiner Dropbox ein großes Truecrypt-File liegen gehabt, welches die Dropbox-App auch immer einwandfrei synchronisiert hat. Das Problem ist jetzt aber, dass die Strato-App lediglich ein Netzlaufwerk mountet, auf welches ich dann Dateien kopieren kann. Es synchronisiert leider nicht Dateien Stück für Stück, ohne sich durch Netzwerkunterbrechungen irritieren zu lassen, so wie es die Dropbox app tut.

Mein Plan war daher, ein ca. 100GB großes Truecrypt-file auf den Strato Server zu bekommen, um es dann später vom Netzwerkdrive aus zu mounten und darauf dann automatisch meine Dokumente und Fotos per Carboncopycloner zu backuppen.

Ich habe das 100GB-file auf meiner Festplatte angelegt und ein aktuelles Backup draufgespielt, bekomme es aber mit meinem Internetanschluss niemals innerhalb von 24h auf das Online-drive. Irgendwann disconnected der Router, und der Kopiervorgang bricht ab.

Beim Durchstöbern von Foren bin ich auf rsync gestoßen, das angeblich unterbrochene Kopiervorgänge wieder fortsetzen kann. Das klappt bei mir aber irgendwie nicht. Ich habe unten stehenden Befehl ausgeführt, und wenn ich dann bei ca. 100MB einmal testweise CTRL + C drücke, und anschließend den Befehl erneut ausführe, startet der Kopiervorgang neu. Was mache ich falsch?

Muss ich den Befehl abändern? Oder kenn jemand von euch vielleicht sogar eine bessere Methode, um dieses File stück für stück hochzuladen? Vielen Dank für eure Tipps!

rsync -avhP --append --progress /Volumes/Media/Backup-Container /Volumes/root/users/data-4650/Drive/



 
Ist das "/Volumes/root/users/data-4650/Drive/" WebDAV?
 
pmau schrieb:
Ist das "/Volumes/root/users/data-4650/Drive/" WebDAV?
Zum Vergrößern anklicken....

nein, die App öffnet einen openVPN Tunnel mit dem Server, und dann wird das Laufwerk per SMB auf meinem Mac eingebunden.
 
Das "-P" oder "--partial" sorgt dafür dass auf der Server Seite eine temporäre Datei .xyzavc087676 angelegt wird.
Ich geh mal davon aus, dass das irgendwie mit SMB nicht geht.
 
Wenn ich z.b. zwei Garagen habe, bei der eine mit Krimskrams voll ist und das zeug muss in die andere Garage umgezogen werden. Wie gehe ich da am besten vor...

Natürlich kann man mit einem Kranwagen beigehen und die Garagen selbst austauschen - das wär mir aber zu gefährlich. Es ist ja nichtmal klar, ob man Seile hat die Stark genug sind.

Am sinnvollsten ist es doch vermutlich, beide Türen zu öffnen und das zeug Stück für Stück Rüberzutragen.


Um das mal auf dein Problem zu übertragen...
Kannst du nicht auf dem HiDrive Server einen leeren Truecrypt Container anlegen, beide Container mounten und dann die Dateien einzeln kopieren?
 
tocotronaut schrieb:
Wenn ich z.b. zwei Garagen habe, bei der eine mit Krimskrams voll ist und das zeug muss in die andere Garage umgezogen werden. Wie gehe ich da am besten vor...

Natürlich kann man mit einem Kranwagen beigehen und die Garagen selbst austauschen - das wär mir aber zu gefährlich. Es ist ja nichtmal klar, ob man Seile hat die Stark genug sind.

Am sinnvollsten ist es doch vermutlich, beide Türen zu öffnen und das zeug Stück für Stück Rüberzutragen.


Um das mal auf dein Problem zu übertragen...
Kannst du nicht auf dem HiDrive Server einen leeren Truecrypt Container anlegen, beide Container mounten und dann die Dateien einzeln kopieren?
Zum Vergrößern anklicken....

Das stimmt. Es ist nur so, dass die Truecrypt Container nicht "wachsen" können. Und Truecrypt möchte diese Container am Anfang formatieren, und das dauert ca. genau so lange wie die fertige Containerdatei drauf zu kopieren.
 
ah, ok, dann brauchst du definitiv einen fetten Kran und starke Seile (Internetverbindung)

Viel erfolg.
 
  • Gefällt mir
Reaktionen: macellen
Ich wollte eigentlich nur wissen, wie man einen begonnenen Kopiervorgang fortsetzen kann.

rsync -avhP --append --progress /Volumes/Media/Backup-Container /Volumes/root/users/data-4650/Drive/

Stimmt diese Syntax so und es liegt an SMB oder hab ich etwas falsch gemacht?
 
Wenn Du ihn abgebrochen hast tipp mal ein

Code: 
ls -la /Volumes/root/users/data-4650/Drive/

Eine andere Lösung wäre wohl ein verschlüsseltes Sparse Bundle.
Aber ich will dir in Dein Vorhaben nicht reinreden.

Was ist in 6 Monaten. Wenn Du alles wieder runterladen musst?
 
pmau schrieb:
Wenn Du ihn abgebrochen hast tipp mal ein

Code: 
ls -la /Volumes/root/users/data-4650/Drive/

Eine andere Lösung wäre wohl ein verschlüsseltes Sparse Bundle.
Aber ich will dir in Dein Vorhaben nicht reinreden.

Was ist in 6 Monaten. Wenn Du alles wieder runterladen musst?
Zum Vergrößern anklicken....

Hm. Ok. Ich gebe dir Recht, es ist nicht optimal gelöst. War nur eine Idee. Ich habe ja auch noch 2 Monate lang die Dropbox.
Wie würdet ihr denn eure Daten sicher in der Cloud sichern? Ich möchte nicht dass sie im Klartext auf dem Server liegen, nur aus Prinzip, nicht weil ich was zu verstecken hätte.

Und diese verschlüsselten Sparse Bundles von OS X sind ja auch nicht anders als ein Truecrypt-Container. Die können, soweit ich weiß auch nicht wachsen. Ich habe mal eine Zeit lang Boxcryptor ausprobiert, aber das braucht bei relativ verzweigten Ordnerstrukturen, wie es bei der iPhoto Library der Fall ist, leider total lange und wird sehr langsam. Das ist auch keine gute Alternative. Außerdem erstellt es auch eine riesige Containerdatei.

Soweit ich das sehe, kann ich entweder die ganzen Files unverschlüsselt in die HiDrive laden und mich damit abfinden, oder ich kann wieder einen Hunni im Jahr für Dropbox ausgeben. Ich könnte auch kleinere verschlüsselte Container hochladen, die ich an einem Stück kopieren kann. Aber meine iPhoto Bibliothek ist allein 50 GB groß... Die kann ich nicht aufsplitten.

Spider Oak gäbe es noch...

Oder ich schaffe es irgendwie, eine 100GB Datei über mehrere Tage verteilt hochzuladen.

Und ich habe ls -la eingegeben, das kam raus:

drwxr-xr-x 2 alekwald staff 16384 Mar 21 21:58 .
drwx------ 4 alekwald staff 16384 Mar 21 13:17 ..
-rwx------ 1 alekwald staff 786432 Mar 21 21:47 .Backup-Container.6HbhV6
-rwx------ 1 alekwald staff 2883584 Mar 21 20:52 .Backup-Container.87Kp4a
-rwx------ 1 alekwald staff 688128000 Mar 21 23:12 .Backup-Container.EQ7syv
-rwx------ 1 alekwald staff 83886080 Mar 21 21:58 .Backup-Container.YlUygx
-rwx------ 1 alekwald staff 18874368 Mar 21 20:55 .Backup-Container.Yu2gIp
-rwxr--r--@ 1 alekwald staff 6148 Mar 21 17:09 .DS_Store
-rwxr--r-- 1 alekwald staff 4096 Mar 21 13:11 ._.DS_Store
-rwx------ 1 alekwald staff 42991616 Mar 21 21:19 Backup-Container

Es scheint, als wäre von allen 5 Versuchen noch eine angefangene Datei übrig. Der Kopiervorgang fängt halt leider neu an, anstatt an die vorherige Datei zu "appenden". Vielleicht stimmt wirklich nur was mit der rsync Syntax nicht??
 
deAlek schrieb:
Ich habe mal eine Zeit lang Boxcryptor ausprobiert, aber das braucht bei relativ verzweigten Ordnerstrukturen, wie es bei der iPhoto Library der Fall ist, leider total lange und wird sehr langsam. Das ist auch keine gute Alternative. Außerdem erstellt es auch eine riesige Containerdatei.
Zum Vergrößern anklicken....
Kann es sein das der Test schon ne Weile her ist und mit Boxcyptor 1.0 stattgefunden hat? Die aktuelle Version braucht keine Containerdatei mehr, sondern verschlüsselt jede Datei einzeln bevor sie hochgeladen wird.

Auf HiDrive kann man auch per (S-)FTP(-S) zugreifen, sofern ein vernünftiges FTP Programm vorhanden ist, das abgebrochene Uploads fortsetzen kann, wäre das ja auch ne Möglichkeit.

Gruß,
Thomas
 
ThoRo schrieb:
Kann es sein das der Test schon ne Weile her ist und mit Boxcyptor 1.0 stattgefunden hat? Die aktuelle Version braucht keine Containerdatei mehr, sondern verschlüsselt jede Datei einzeln bevor sie hochgeladen wird.

Auf HiDrive kann man auch per (S-)FTP(-S) zugreifen, sofern ein vernünftiges FTP Programm vorhanden ist, das abgebrochene Uploads fortsetzen kann, wäre das ja auch ne Möglichkeit.

Gruß,
Thomas
Zum Vergrößern anklicken....

Hi Thomas,

Ich habe die Pro-Version von Boxcryptor und das was so lange gedauert hat, ist die Dateinamenverschlüsselung in einer relativ tiefen Ordnerhierarchie. Die scheint mit jedem Level exponentiell länger zu dauern. Das war besonders merklich bei meiner iPhoto Library. Allein die Verschlüsselung der Dateinamen hat bei mir über 2 Tage Dauer angezeigt, und da war das hochladen nicht mit einbegriffen. Außerdem ist mir mal eine Version meiner Doktorarbeit bei Boxcryptor "corrupted" worden, und dann habe ich mich entschieden, doch wieder auf die Containervariante mittels Truecrypt zurückzukommen. Aber ja, das war vor ca. 3 Monaten, vielleicht ist Boxcryptor ja jetzt verbessert worden, oder ich habe nur irgendetwas falsch gemacht.

Und danke für deinen Tipp mit sFTP! Ich habe das Programm GoodSync gefunden, was für meine Zwecke kostenlos ist. Es verbindet sich über sFTP auf die HiDrive und kann Übertragungsvorgänge automatisch fortsetzen, anstatt sie neu zu starten.
Auf der Webseite steht:
"Der technisch ausgereifte Algorithmus von GoodSync und die Bit-für-Bit Synchronisation gewährleisten absolute Genauigkeit und schützen vor Datenverlust. Sogar bei Stromausfall während einer Synchronisation kann GoodSync danach die Synchronization an der Stelle, wo sie unterbrochen wurde, fortführen abschließen."
Klingt genau nach was ich gesucht habe :d. Jetzt versuche ich mal, die 100GB Datei so zu synchronisieren. Wenn ich Glück habe funktioniert sie am Ende ja sogar...
 
Mit GoodSync habe ich bislang gute Erfahrungen gemacht, damit sichere ich z.B. täglich ein Datenbank Backup extern bei HiDrive. 100 GB am Stück habe ich damit allerdings noch nicht übertragen, auch wenn das - dank fehlender DSL Zwangstrennung - bei mir ohne Unterbrechung machbar sein sollte....

Gruß,
Thomas
 
Wie wäre es mit EncFS?
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben Unten