Was haltet ihr von Crash Plan?

[svenc]

Blöde Frage, aber gibt es mit der aktuellen Version irgendwelche Kniffe, um die Geschwindigkeit im Netzwerk zu erhöhen?

Hintergrund: Mit der Version vorher habe ich im lokalen Netz (WLAN) Daten auf einen anderen Rechner gesichert mit Crashplan. Das ging so mit etwa 4 MB/s (Laut Aktivitätsanzeige, also schon Throughput) durch.
Jetzt möchte ich das wieder machen, aber anderer Rechner (neuer Mini anstatt dem alten MBP) und die Sicherung dümpelt seit dem Start gestern mit gemütlichen 500 kB/s (Aktivitätsanzeige) vor sich hin. In die Cloud verstehe ich das ja irgendwie, aber lokal ging das mal deutlich schneller.
Laut jperf und Dateitransfers via SMB habe ich zwischen den beiden betreffenden Rechnern eine Bandbreite von 50 bis 80 MBit, also deutlich mehr Potenzial.

Hi,

wenn Du in den Erweiterten Einstellungen die Deduplizierung auf "vollständig" gestellt hast, ist die Geschwindigkeit deutlich geringer. Das liegt einfach an dem deutlich höheren Rechen-/Prüfaufwand.
Nimm dort die Einstellung "Automatisch" (auch bei der Komprimierung), dann sollte die Performance deutlich höher sein. Die Deduplizierungs- und Kompressionsquote ist dann zwar etwas geringer, lt. Hersteller sinkt die Effektivität der Deduplizierung dann auf ca. 90%, was immer noch ein sehr guter Wert ist.

In den Einstellungen bei "Netzwerk" auch mal die Paketgröße auf 2096 einstellen, das bringt im LAN auch meist noch etwas mehr Durchsatz.

Gruß

Sven
- OecherWolke -

 

[onebuyone]

Nur eine kleine info/frage
- freund von mir mit 700gb bilder(raw....)
- 1 jahr auf ihn eingeredet bez cloudsicherung (ihr kennt mich )
- hat sich vor 3wochen entschieden das endilch zu machen( CP)
- vor einer woche war alles "oben" (der hat eine Echt schnelle leitung)
-heute meine frage wie ist es denn so mit der sicherung?
-alles ist ok ----- aber...nas...
er besitzt ein windowrechner und dort sieht man die ordner des nas in cp nicht
Evtl hat hier eine besserer erklärung (batch) bez befehle anbindung nas an window rechner für CP
weil das batch in cp hilfe ist doch sehr technisch
Bez ip..user..ip..pw..ip..user.rechner..........?
gruß horst

 

[onebuyone]

Du hast mich falsch verstanden. Es läuft über WLAN und es lief auch, als ich es vor ein paar Monaten mit der älteren Version ausprobiert hatte, über WLAN und es soll auch über WLAN laufen.
Wie gesagt, die WLAN Verbindung zum Zielrechner gibt 50 bis 80 Mbit her (gemessen), an der Bandbreite liegt es also nicht.

Habe dich schon verstanden
es ware nur der test um dich zu bestätigen
oder ob es doch am wlan liegt.....

 

[hilikus]

@svenc:
Die einstellungen liegen alle auf "automatisch", die CPU Auslastung habe ich auch auf 90% hochgedreht. Beide CPUs langweilen sich aber zu Tode. Die CPU im Zielrechner (ivy bridge i3) und im Quellrechner (ivy bridge i5) haben Auslastungen durch den Crashplan service von <5%.
Die Paketgröße habe ich auch mal hochgedreht, allerdings habe ich da keinen Unterschied feststellen können. Vielleicht kann man sich da ein paar kB/s mehr vorstellen, aber ich bin weit von MB/s Durchsatz entfernet. Und wie gesagt, von der Bandbreite der Verbindung sollten locker > 4MB/s drin sein.

@onebuyone:
Ja hmm so einfach ist das nicht, das ganze per LAN zu testen, da es sich um zwei stationäre Computer handelt. Ich müsste dann mal in PowerLAN investieren und die Investition nur zum Testen scheue ich dann doch.
Wie gesagt, mit der 3.5.2. hatte ich auch Durchsaätze, die die WLAN Verbindung ausgereizt haben. Das wäre ja völlig i.O. für mich.

 

[onebuyone]

Hilikus
ich hatte verstanden das du auch den rechner gewchselt hast mac book -> mini
Ist die neue cp verision auch auf der alten HW langsam?

 

[hilikus]

jetzt hab ichs kapiert.
Ja, auch auf der alten Hardware läuft das Backup auch so schnarchlangsam lokal. Wenn beide Backups parallel laufen, läuft es auf beiden Rechnern so schnarchlangsam. Es ist also kein Bandbreitenproblem.

 

[svenc]

jetzt hab ichs kapiert.
Ja, auch auf der alten Hardware läuft das Backup auch so schnarchlangsam lokal. Wenn beide Backups parallel laufen, läuft es auf beiden Rechnern so schnarchlangsam. Es ist also kein Bandbreitenproblem.

Hi,

1. Stelle die CPU-Nutzung auf 100% ein. CrashPlan nutzt maximal einen Core der CPU.
2. Die CPU-Auslastung des "CrashPlan" in der Aktivitätsanzeige zeigt nur die Auslastung des User-Interfaces. Entscheidend ist, was die Auslastung des Prozesses "java" anzeigt.
3. Was nicht schaden kann, ist die Speicherzuweisung für CrashPlan etwas anzuheben.
Dazu im Terminal über
sudo launchctl unload /Library/LaunchDaemons/com.crashplan.engine.plist
(damit beendest Du den Backup-Dienst)

sudo pico /Library/LaunchDaemons/com.crashplan.engine.plist
dann nach
<string>-Xmx512m</string>
suchen und z. B. auf
<string>-Xmx1024m</string>
ändern

ctrl-o (sichern)
ctrl-x (beenden)

und mit

sudo launchctl load /Library/LaunchDaemons/com.crashplan.engine.plist
den
Backup-Dienst wieder starten.

Wie unter 1. gesagt (CPU auf 100% stellen) dann sollte sich vertretbare Geschwindigkeiten einstellen.
Es kommt natürlich auf die Netzwerkverbindung an, aber CrashPlan lastet diese normalerweise niemals aus (ausser Du hasst ein sehr lahmes WLAN oder nur eine 10Mbit-Verbindung).

Es kommt dann etwas auf den Typ der Daten an, aber zwischen 100 und 400Mbit/s (CrashPlan-Durchsatz, nicht effektive Transferrate) schwankt das je nach Hardware, Festplattentyp, usw..
Die Anzeige in der Aktivitätsanzeige ist für mich recht irrelevant.
Wenn die Kompression und Deduplizierung von CrashPlan z. B. bei Deinen Daten sehr gut greift, kann es sein, dass er nur 500kb/s effektiv überträgt, CrashPlan aber 100-400Mbit/s an Daten sichert.

Wenn ich das richtig verstehe und Du
von Rechner A auf Rechner B sicherst und von Rechner B auf Rechner A und das gleichzeitig läuft, sinkt die Geschwindigkeit natürlich deutlich.
Man sollte (beim ersten Backup) erst einmal nur in eine Richtung sichern.

Die Konstruktion von CrashPlan ist nicht auf "HighSpeed" im klassischen Sinne ausgelegt. Es geht bei CrashPlan darum, diesen Dienst am besten permanent im Hintergrund und mit recht kurzen Intervallen für die Datensicherung zu betreiben. Darin liegen die Stärken. Der Anwender merkt quasi nicht, dass im Hintergrund das Backup agiert.
Lösungen, die die "nackte Geschwindigkeit" als oberste Prämisse sehen, bremsen den Rechner dann immer permanent aus, so dass die Backups dann auf gewisse Zeiten (z. B. nachts) gesetzt werden. Dann fehlen aber die ganzen Versionen, die CrashPlan schon über Tag sichert.


Gruß

Sven
- OecherWolke -

 

[hilikus]

Grüß dich Sven,

die CPU Auslastung in CP habe ich bereits versucht hochzudrehen. Ich meinte auch, dass die generelle CPU Auslastung des zu sichernden Rechners bei < 5% liegt. Auch beim Zielrechner ist sie so niedrig. CP Selbst zeigt Speeds um die 4 MBit an (+/- 10%).

Der Witz ist eben, dass die Geschwindigkeit nicht sinkt, wenn Rechner A und B auf Rechner C sichern oder nur Rechner A oder B auf C sichern. Das hatte ich nur als (weiteren) Hinweis genommen, dass es kein Bandbreitenproblem ist.

Ich habe jetzt auch ein Ticket beim CP Support laufen, die haben jetzt alle Logs und der Supporter hat es auf Tier2 eskaliert (was auch immer das heißt). Bisher waren die Supporter immer sehr kompetent.
Ich sage hier Bescheid, wenn sich etwas neues ergeben hat.

 

[hilikus]

Habe die Firewall auf dem Zielcomputer neu konfiguriert (Win 7 Firewall) und nach einem Reboot reizt CP nun die Netzwerkverbindung nahezu aus. Also Faktor 10 schneller.

Auf den Neustart hätte ich auch aber mal selber kommen können^^

 

[onebuyone]

wie immer
AEG
ein boot tut gut

 

[xentric]

Könntest Du das bitte etwas erläutern?

Deduplizierung hat fast immer einen sehr hohen Nutzen.
Auch ein Grund, warum viele professionelle Storage-Systeme z. B. ZFS als Dateisystem einsetzen.

Glaub ich eher weniger, dass das der Grund sein soll. ZFS dedup ist es nicht wert, vor allem nicht bei dem Performanceverlust. Zu genügend Beispiele findbar über Google. Und so billig wie HDD Space ist, .. Okay, ihr mit eurer Wolke, da machts das auch nicht aus bei den max. 2MBit/s was ihr gewohnt seid, ..

Mal an die Handhabung gedacht, Checksums? Das ist eher, warum ZFS genutzt wird, ..

 

[magheinz]

Glaub ich eher weniger, dass das der Grund sein soll. ZFS dedup ist es nicht wert, vor allem nicht bei dem Performanceverlust. Zu genügend Beispiele findbar über Google. Und so billig wie HDD Space ist, .. Okay, ihr mit eurer Wolke, da machts das auch nicht aus bei den max. 2MBit/s was ihr gewohnt seid, ..

Mal an die Handhabung gedacht, Checksums? Das ist eher, warum ZFS genutzt wird, ..

Welches professionelle storagesystem setzt denn überhaupt auf Zfs. Das dürfte sich doch auf Sun Solaris Geräte beschränken. Alternativ noch BSD-basiert wie Freenas. Ein Markenname würde mir genügen.
ich persönlich kenne NetApp, emc und IBM Geräte. Keines davon setzt auf Zfs.
und hdd und billig passen im storagebereich auch nicht zusammen. Bei den systemen die ich kenne und betreue kommen die hdds in 24er shelfes und liegen dann preislich im unteren 5stelligem Bereich. Da ist dedup Gold Wert.

 

[onebuyone]

@xentric
ich habe bei mir alle HD(3) LW(insgesant mit 1,6TB daten) (die bereits zu CP gesichert waren) auf ein NAS kopiert
danach hat dank Deduplizierun die Sicherung des NAS zu CP nur ca 12Std gedauert(6000 DSL) ---5,6Gbps!!!
will ich nicht mehr drauf verzichten z.Zt. 2,2TB
mache mir keine Gedanken mehr über rename move copy duplikate....Organisieren
https://www.macuser.de/threads/was-haltet-ihr-von-crash-plan.576359/page-21#post7880648

 

[onebuyone]

Von meiner Seite aus eine "kleine" Zwischeninfo bez CP
vor 2 Tagen (1.8.13) hatte ich mit meinem DSM update von 4.1 -> 4.2 ein Problem mit CP
die Laufwerke/Ordner wurden in CP zwar noch angezeigt aber mit 0Files und 0 MB -- normal waren 1.600.000 Files mit 2,5TB--
nach Eingabe einer supportanfrage an den Support USA https://helpdesk.crashplan.com/home
kam innerhalb von 6Std die Lösung:

• Hello Horst,
  Please clear your CrashPlan cache using the manual directions on this page (bottom half):
  https://helpdesk.crashplan.com/entries/23474476-Clear-your-cache-for-quick-fixes
  CrashPlan will look like it is re-backing up your data, but it will actually be scanning each block to see if it has been backed up already. Progress will be much faster than if you were re-backing up.
  Please let it run overnight and let me know how it looks in the morning. If you're still having trouble in the morning, please send your log files. Instructions are here:
  Can you send in your logs so we can see what it is going on?
  Here are the instructions for uploading your logs automatically through Crashplan:
  Open CrashPlan
  Double click the CrashPlan logo in the upper right
  Type: getlogs xxxxxx
  Press enter
  CrashPlan will automatically zip up your log files and attach them to this ticket.
  
  If you are not able to log in to the CrashPlan desktop, please follow the link below to manually attach Here are the instructions for uploading your logs:
  From your computer's file system, navigate to : windows C:\ProgramData\CrashPlan\Log mac /Library/Logs/CrashPlan
  Archive (create a ZIP file of) the entire service log directory to compress it.
  Mac: Ctrl+click on the log directory and select Compress (10.5+) or Create Archive (10.4)
  Windows: Right-click the file or folder, point to Send To and then click Compressed (zipped) Folder
  Attach the logs to your existing support request or this email
  ~Josh

August 01, 2013 09:27 am

also nur den Cache von CP löschen-- viele User (Win) hätten geraten neu zu installieren -- hätte auch wohl geholfen ? --
jetzt läuft alles wieder normal
und muß sagen --Ein super Support , System---

da ich gerade ein zus. USB(1TB) mit sichere --welche teilweise schon auf das NAS kopiert/zu CP gesichert war und wird --
dauert jetzt meine Sicherung lt CP , für neue 585GB ( ingesamt 2,7TB) 3,6Monate mit einer Übertragungs-Rate von 498,5kbps
-FritzBox upload = Vollanschlag
mal sehn was die Deduplizierung da noch so rausholt

ps
aber wie oft gesagt : "Die Zeit spielt kaum eine Rolle" hauptsache es ist irgendwann einmal alles "oben" in der Wolke gesichert

und die CPU pennt dabei fast nur

 

[svenc]

Glaub ich eher weniger, dass das der Grund sein soll. ZFS dedup ist es nicht wert, vor allem nicht bei dem Performanceverlust. Zu genügend Beispiele findbar über Google. Und so billig wie HDD Space ist, .. Okay, ihr mit eurer Wolke, da machts das auch nicht aus bei den max. 2MBit/s was ihr gewohnt seid, ..

Mal an die Handhabung gedacht, Checksums? Das ist eher, warum ZFS genutzt wird, ..

Wie ich bereits in einem anderen Beitrag geschrieben habe, setzen wir keine Deduplizierung (bei ZFS) ein. Diese bringt keinerlei Effekt bei bereits deduplizierten Daten.

Bei Storage-Systemen (z. B. FileServer, z. B. auch Storages für VMs) ist der Nutzen allerdings sehr hoch. Wenn das ZFS entsprechend ausgerüstet ist (RAM, SSDs für Cache) sind die Performance-Einbußen zu vernachlässigen.

Warum wir ZFS einsetzen, dürfte für jeden nachvollziehbar sein, der ZFS kennt.

Und zum Thema 2Mbit/s.... Wie kommst Du auf diesen Wert?

Die ZFS-Storages in unserer Wolke arbeiten mit 600-800MB/s (nicht Mbit!!).

Gruß

Sven
- OecherWolke -

 

[svenc]

Welches professionelle storagesystem setzt denn überhaupt auf Zfs. Das dürfte sich doch auf Sun Solaris Geräte beschränken. Alternativ noch BSD-basiert wie Freenas. Ein Markenname würde mir genügen.
ich persönlich kenne NetApp, emc und IBM Geräte. Keines davon setzt auf Zfs.
und hdd und billig passen im storagebereich auch nicht zusammen. Bei den systemen die ich kenne und betreue kommen die hdds in 24er shelfes und liegen dann preislich im unteren 5stelligem Bereich. Da ist dedup Gold Wert.

Solaris, OpenIndiana, OmniOS, Nexenta, BSD, mittlerweile auch unter Linux zu haben (und wir reden nicht über FUSE), etc..

Apple hat ZFS unter 10.6-Server in den Prebuilt-Versionen noch drin, vollständig unterstützt. Leider wurde dies in den Auslieferungsversionen gekappt.

Es gibt auch NAS-Systeme, die ZFS einsetzen, allerdings oft recht lausig implementiert.

ZFS setzt halt recht hohe Anforderungen an die Hardware. Wenn man dann einmal ZFS genutzt hat, will man nichts anderes mehr. Stabilität, Flexibilität, Sicherheit, Snapshots, etc..

Gruß

Sven
- OecherWolke -

 

[onebuyone]

Zwischenstand nach Tag1 bez deduplizierung mit einer 6000DSL(600kbits up)
4.8. : für 572GB --- 23 Tage ------ Übertragungs-Rate 2,3Mbps (schwankt erheblich)
3.8. : für 585GB --- 3,6Monate --- Übertragungs-Rate 498,5kbps

 

[magheinz]

dauert jetzt meine Sicherung lt CP , für neue 585GB ( ingesamt 2,7TB) 3,6Monate mit einer Übertragungs-Rate von 498,5kbps
-FritzBox upload = Vollanschlag
mal sehn was die Deduplizierung da noch so rausholt

ps
aber wie oft gesagt : "Die Zeit spielt kaum eine Rolle" hauptsache es ist irgendwann einmal alles "oben" in der Wolke gesichert

4 Monate bis die Daten erst mal oben sind. Eher ein halbes jahr, denn die leitung wird ja vermutlich nicht 4 Monate ausschließlich für Backup zur Verfügung stehen. Und das ganz ohne änderungen in den Dateien.
da braucht man ja ein zweites backupkonzept um die Irwin zu überbrücken bis man dieses wirklich nutzen kann. Da würde zeit für mich eine große Rolle spielen.

 

[devrandom]

da braucht man ja ein zweites backupkonzept um die Irwin zu überbrücken bis man dieses wirklich nutzen kann.

Exakt. Und dann hab ich ja schon mein Backup. Und Gedanken, ob die Syncsoftware intelligent genug ist, meine Verschiebeaktionen von den 2GB-Dateien korrekt zu erkennen, um diese nicht nochmal hochladen zu müssen, muss ich mir auch keine machen .

 

[onebuyone]

4 Monate bis die Daten erst mal oben sind. Eher ein halbes jahr, denn die leitung wird ja vermutlich nicht 4 Monate ausschließlich für Backup zur Verfügung stehen. Und das ganz ohne änderungen in den Dateien.
da braucht man ja ein zweites backupkonzept um die Irwin zu überbrücken bis man dieses wirklich nutzen kann. Da würde zeit für mich eine große Rolle spielen.

Gut das ich schon lange damit angefangen habe
und aktuell sind die 4Monate ,nach einem Tag, auf 23+/- xTage geschrumpft
wie schon gesagt von den neuen 585GB sind bestimmt zig 2KB Blöcke oder sogar Files schon im meinen vorher gesichterten 2,2TB vohanden---deduplizieung ist das Zauberwort---
aber für die Zwischenzeit bis bis alles oben ist die vertraue ich das meine NAS die paar Tage noch "überlebt".
Und wenn nicht ist die USB immer noch da

Die USB ist jetzt schon komplett auf das NAS kopiert.
Was meinst Du mit "Nutzen kann" ? --- das ist nur das Backup! und das kann ich permanent nutzen z.b. per APP um mal kurz Bilder,PDF,... anzuschauen.
( sogar teilweise schon von den neuen 585GB)


@DeVrandom ja sie erkennt das.

@Magheinz 99% der uploadspeed sind normalerweise ungenutzt
jetzt nutze ich eben zeitweise 100% des uploadspeed aus
Das sieht man ganz toll mit einer FritzBox

und die Zeit spielt für mich wirklich keine Rolle mehr.