Diskussion zu "Automatische Backups und Syncs unter OS X"

[sheep]

Das ist nicht richtig.
Die lokalisierten Namen haben mit Ressourceforks nichts zu tun.

Oh, sorry .

Nach dem was du sonst noch aufzählt, bleibt es allerdings dabei, dass man auf die Ressource Forks beim Sichern nicht verzichten sollte.

 

[emaerix]

@sheep
auch von mir dickes Dankeschön für diese Anleitung. Da ich mich im Moment mit der Frage einer vernünftigen Back-Up-Lösung herumschlage, kommt Dein Tutorial genau zum richtigen Zeitpunkt. Einziges Problem: ich brauch noch ein Back-Up-Medium.

Die Änderungen, die ihr im Laufe des Threads besprochen habt, werden die gleich in Dein Skript eingearbeitet, so dass man immer nur auf der ersten Seite nachschauen muss, oder muss man sich das zusammen suchen?

Viele Grüße und vielen Dank
emaerix

 

[maceis]

Oh, sorry .

Kein Problem - ich wollte es nur richtigstellen.

Nach dem was du sonst noch aufzählt, bleibt es allerdings dabei, dass man auf die Ressource Forks beim Sichern nicht verzichten sollte.

Natürlich nicht. Es sei denn, man weiss genau, das man sie nicht braucht.
Wenn man z.B. das /etc Verzeichnis oder ein Webserververzeichnis sichert, kann man auf die Ressourceforks verzichten, weil es da eh keine gibt (bzw. geben sollte).

Wenn man ein Verzeichnis mit lauter JPEGs sichert, kann man auf die Ressourceforks ebenfalls verzichten, wenn die Dateien die richtige Endung.
Falls Vorschauicons vorhanden waren, sind die halt weg - ebenso wie die Information,ob die Dateien mit Photoshop, Graficconverter etc. geöffnet werden sollen. - gehn sie halt wieder mit Vorschau auf.

Auf Ressourceforks verzichten _sollte_ man, wenn die Dateien für einen Webserver bestimmt sind, da sich so die Ladezeiten reduzieren und die RFs ohnehin nicht benötigt werden.

 

[daskas]

so freunde der nacht. ich habe mir da was ausgedacht. wie gesagt, ich habe den rechner seit ner woche und das erste mal mit unix zu tun. das kann man bestimmt besser machen, aber irgendwie haben die shell und ich noch nicht so richtig zusammengefunden
falls jemand ahnung hat, wie man die line of code anzahl verringern kann, vorschläge wilkommen.
problem war bisher, dass die hilfreichen scipte von sheep nicht ausgeführt werden, wenn der rechner aus ist oder im ruhezustand. das war bei mir leider meistens der fall. so kann es mitunter vorkommen, dass das /home verzeichnis wochenlang nicht gesichert wird, weil der cronjob nicht ausgeführt wird.
habe ein script erstellt (run_backup.txt), dass das alter der logdateien prüft (intervall dafür im crontab am besten < zeit für ruhezustand des rechners) und die sicherung von sheep ausführt, wenn die eingestellte zeit (muss man leider in run_backup selbst einstellen, cool wäre es die zeiten für backup_home und backup_system aus der crontab auszulesen, aber ob und wie das geht habe ich keinen plan) überschritten wird.
hier mal der code:

#!/bin/sh
# script, dass die backupscripte backup_system und backup_home bei bedarf aufruft
# in crontab des users eintragen mit 30 min intervall

# sollvariablen für das sicherungsintervall in sekunden
declare sollzeit_home=86400 # 1 tag
declare sollzeit_system=2592000 # 30 tage

# istvariablen des sicherungsintervalls
istzeit_home=$(($(date +%s)-$(stat -f %m /Volumes/RAID1/backup.log)))
istzeit_system=$(($(date +%s)-$(stat -f %m /Volumes/System_clon/backup.log)))

# bedingter start des sicherungsscripts
if [ $istzeit_system -gt $sollzeit_system ]
then ./backup_system.txt
fi

if [ $istzeit_home -gt $sollzeit_home ]
then ./backup_home.txt
fi

irgendwie ist es mir auf die schnelle nicht gelungen den screenshot hier einzufügen !?
wenn jetzt noch das synchen des systems laufen würde, könnte ich beruhigt schlafen

habe das script auch in den ordner ./scripts gesteckt. sonst sind ggf die pfade zu editieren.
das script auch mit

sudo crontab -e

in die liste eintragen.
ach ja, die pfade zu den logdateien muss man natürlich auch selbst anpassen. je nachdem wo man hinsichert
gruz kasp

 

[nicolas-eric]

hi sheep,

das ist ne echt geniale anleitung die du da verfasst hast. danke dafür.
jetzt habe ich noch einige fragen.
wenn das eine synchronisation macht, dann kann es doch nur komplette dateien von a nach b schieben oder umgekehrt. also kann ich ne iphoto library oder itunes library von den bildern/musikstücken her zwar syncen, aber die entsprechenden xml librarys werden ja nicht ergänzt. gibts dafür ne lösung?

mir gehts um folgendes: mein vater hat zur zeit ein PB Ti und macht seine gesamten mails/briefe/etc. damit.
nun will er am liebsten neben n grosses TFT nen mac mini hängen - als anlagen/dvd-player ersatz und damit meine mutter wenn er unterwegs ist auch mailen und surfen kann.
dass er mail, dokumente und das adressbuch mit dem sync script abgleichen kann, das ist mir schon klar. aber ein mal im monat oder so will er das auch mit der musik und den fotos machen. wie mache ich das?

kann man eigentlich wirklich auch mailkonten damit abgleichen, sodass neue mails vom PB auf den mini kommen und neue vom mini auf das PB?

kann ich irgendwie anstatt eines cron-jobs der ja zu festen uhrzeiten startet ne ordneraktion der sync scripte erstellen, die beim mounten des PB am mini nachfragt pob gesynct werden soll und die den sync durchführt? wenn ja wie mache ich das?

allerletzte frage: wie lange dauert das syncen z.b. von zwei je 100MB grossen pages-dokumente ordnern die sich um sagen wir mal 5 MB unterscheiden?

danke schon mal für deine hilfe!

lg nicolas-eric

 

[bowman]

...eure Script-Anleitung ist wirklich eine schöne Sache - vielen Dank. Eine Anmerkung kann ich aber nicht verkneifen:

<Korinthenkackmodus an>
Ihr macht wunderschöne Synchronisationen, allerdings keine Backups und ich vermute, vielen ist der Unterschied nicht klar: Wenn aus Versehen vom User Dateien gelöscht werden oder unbemerkt defekt werden, sind sie dies auch nach der Synchronisation auf dem "Backupmedium". Weg ist also weg. Mit inkrementellen Backups (mit Backupprogrammen wie z.B. Retrospect) kann man das vermeiden und bei bei Bedarf ältere Versionen von Dateien rekonstruieren indem man auf frühre Snapshots inkrementeller Backups zugreift. Geht auch automatisiert. Hat mir schon sehr geholfen... ;-)
< Korinthenkackmodus aus>

just my two cents

 

[nicolas-eric]

dass man zusätzlich auch ein richtiges backup auf ner extra platte macht, dass ist doch selbstverständlich. das wird ja zusätzlich jede nacht gemacht...

 

[jlepthien]

...eure Script-Anleitung ist wirklich eine schöne Sache - vielen Dank. Eine Anmerkung kann ich aber nicht verkneifen:

<Korinthenkackmodus an>
Ihr macht wunderschöne Synchronisationen, allerdings keine Backups und ich vermute, vielen ist der Unterschied nicht klar: Wenn aus Versehen vom User Dateien gelöscht werden oder unbemerkt defekt werden, sind sie dies auch nach der Synchronisation auf dem "Backupmedium". Weg ist also weg. Mit inkrementellen Backups (mit Backupprogrammen wie z.B. Retrospect) kann man das vermeiden und bei bei Bedarf ältere Versionen von Dateien rekonstruieren indem man auf frühre Snapshots inkrementeller Backups zugreift. Geht auch automatisiert. Hat mir schon sehr geholfen... ;-)
< Korinthenkackmodus aus>

just my two cents

Wenn du dich mit rsync beschaeftigst, wuerdest du feststellen, dass es inkrementelle Backups macht. Fuer ein synchronisieren gibt es die --delete Option. Aber das kann man auch alles am Anfang des Freds lesen
Deshalb nannte sheep es auch inkrementelles Backup.

 

[bowman]

...ehrlich, ich würde es gerne lesen weil es mich brennend interessiert, weiss aber nicht wo das hier stehen soll (ausser in der kurzen Erwähnung in der Einleitung). Daß rsync inkrementelle Backups macht wusste ich bisher nicht. Auch nach dem lesen der rsync manapages ist mir allerdings noch nicht klar, wie das funktionieren soll. Vor allem - wie funktioniert das Recovery? Gibts speziell dazu irgendwo Anleitungen?

Fragen über Fragen...

 

[hatty]

man rsync:

-W, --whole-file
With this option the incremental rsync algorithm is not used and
the whole file is sent as-is instead.

 

[maceis]

Ja, in der manpage.

-u, --update                update only (don't overwrite newer 
[...]
--delete                delete files that don't exist on sender

weiter unten wird es dann noch ausführlich erläutert.

Welche Fragen hast Du konkret zum Wiederherstellen?
Das funktioniert doch genauso, nur dass das Backup die Quelle ist nicht das Ziel.

 

[bowman]

...mir ist nicht ganz klar, wie rsync genau die inkrementellen Backups anlegt und wie man wieder an alte Versionen drankommt. Angenommen ich editiere jeden Tag jeweils die gleiche Datei X im Verzeichnis Y und mache danach jeweils ein inkrementelles Backup mit rsync. Plötzlich stelle ich fest, daß in X ein Teil fehlt, den ich vor einer Woche versehentlich gelöscht habe. Ich will also die 7 Tage alte Variante von X wiederhaben. Finde ich dann im Verzeichnis Y (auf dem Backupmedium) mehrere Varianten von X, solange ich nicht mit --delete die alten Versionen gelöscht habe? Wird an den Filenamen von X irgendein Index (quasi als Versionsnummer) angehängt?

Falls dem so ist, wäre das eine interessante Alternative zu Retrospect...

Ja, in der manpage.

-u, --update                update only (don't overwrite newer 
[...]
--delete                delete files that don't exist on sender

weiter unten wird es dann noch ausführlich erläutert.

Welche Fragen hast Du konkret zum Wiederherstellen?
Das funktioniert doch genauso, nur dass das Backup die Quelle ist nicht das Ziel.

 

[sheep]

Definition "inkrementell"?

Also als erstes möchte ich mich entschuldigen, falls ich den Begriff "inkrementell" in meiner Anleitung unsauber benutzt habe.

Ich habe den Eindruck gewonnen, dass offenbar unterschiedliche Definitionen dieses Begriffs bestehen. Einmal diese von bowman:

"Inkrementell" heisst, dass die Sicherung einer geänderten Datei nicht überschrieben, sondern immer behalten wird. Es entstehen also, wenn eine Datei mehrfach geändert wird, mehrere Versionen im Backup.

Und dann die von hatty genannte aus der Manpage von rsync:

"...the incremental rsync algorithm is not used and the whole file is sent as-is instead"; hier wird der Begriff ganz anders verwendet, nämlich zur Beschreibung des Verhaltens, dass nicht die ganze Datei, sondern nur ihre Änderungen übertragen werden (um die Datenmenge gering zu halten)


Ich habe ehrlich gesagt keine Ahnung, wo der Begriff jetzt wirklich "korrekt" benutzt wurde, aber das mal zur Klärung, falls meine Anleitung zu Missverständnissen geführt hat.

Jedenfalls bedeutet "inkrementell" in meiner Anleitung nicht das von bowman gemeinte Verhalten (wie gesagt, es kann sein, dass ich den Begriff falsch verwendet habe), es werden also NICHT mehrere Versionen einer geänderten Datei gesichert! Ob und wie das mit rsync selber möglich ist, entzieht sich meiner Kenntnis, es würde mich aber ebenfalls interessieren...


Edit:
Da noch ein Hinweis zur Klärung des Begriffs:

Man unterscheidet zwischen differenzieller, inkrementeller und vollständiger Datensicherung. Bei einem differenziellen Backup werden die seit dem letzten vollständigen Backup geänderten Daten vollständig gespeichert. Bei der inkrementellen Datensicherung werden nur die Daten gesichert, die sich seit der letzten Datensicherung (meist dem letzten inkrementellen Backup) verändert haben. Eine vollständige Datensicherung bezeichnet die Sicherung aller Daten unabhängig vom Datum ihrer letzten Sicherung.

Das scheint mit der Definition aus der rsync-Manpage übereinzustimmen.

 

[nicolas-eric]

kann bitte bitte bitte jemand zusätzlich zum erläutern der definition von "inkrementell" mal meine fragen beantworten?

danke.
nicolas-eric

 

[maceis]

*aaaahahggrr"

Bitte dringend lesen: http://learn.to/quote
Bitte tut mir einen Gefallen und editiert die Zitatorgien weg und erst recht das tofu

Hier noch eine Definition:

Definitionen von Inkrementell im Web:

Art der Datensicherung. Bei einer inkrementellen Datensicherung werden nur die Daten gesichert, die sich nach der letzten Sicherung geändert haben. Dies hat den Vorteil, dass die Sicherung relativ unaufwändig ist. (vgl. auch differentiell)

Retrospect ist zweifellos eine hervoragende Backup Software, aber schließlich auch nicht ganz billig.
Evtl. möchtest Du Dir in der manpage von rsync dieOption -b mal zu Gemüte führen .
Man kann sowas aber auch mit tar ganz gut machen.

 

[nicolas-eric]

ich habe noch zwei fragen:

-wenn ich so ein unix-programm zum syncen erstellt habe, was muss ich tun damit es per doppelklick startet. das terminal ist zu viel für meinen 63 jährigen vater der das benutzen soll.

-wenn ich mehrere ordner syncen will, kann ich das alles in eine sonne datei packen, oder muss ich für jeden odner nen neues kleines unix programm erstellen?

 

[hatty]

sorry niclas-eric, aber ich muß erstmal etwas zum Thema "Inkrementelles Backup" loswerden.
In der Tat ist ein inkrementelles Backup eine Datensicherung bei der nur und ausschließlich die Daten gesichert werden, die sich seit der letzten Sicherung geändert haben. Wenn ich bowman richtig verstanden habe, möchte er lieber eine tägliche Vollsicherung haben, um auf einen alten Stand der Datei zurückgreifen zu können. Dies führt in ein Dilemma, dem sich jeder Backup-Verantwortliche früher oder später gegenüber sieht: Das Abwägen zwischen Performance, Sicherheit und Kosten.
Man kann nicht unendlich viele Versionen einer Datei aufbewahren. Egal über wieviel Platz man verfügt, irgendwann geht er zur Neige. Ich spreche aus Erfahrung.
Unsere Tape-Library hat eine Kapazität von 10 TerraByte. Vor 5 Jahren dachte ich noch, dass wir damit nie an unsere Grenzen stossen werden.
Inzwischen warten wir auf eine neue Library mit 25 TB, da es langsam eng wird. Wir halten übrigens maximal 3 Versionen einer Datei vor und das über einen Zeitraum von ca. 30 Tagen.
Nun konkret zu bowman's Problem: Ich denke, das du dir erstmal Gedanken machen musst, welche Art der Sicherung du haben möchtest. Die reine Spiegelung eines Datenbestandes, mit der Gefahr, dass Fehler der Quelle auch auf dem Ziel landen, aber mit einem sehr schnellen Zugriff auf die Daten, sollte die Quelle ausfallen oder ein Backup mit zeitlich unterschiedlichen Datenbeständen um gezielt einzelne Dateien oder Verzeichnisse restoren zu können oder beides.
Solltes du letzteres ins Auge fassen, würde ich mir den Parameter:

-b, --backup

von rsync mit seinen Optionen genauer anschauen. Solltest du beides haben wollen, müsstest du zwei verschiedenen Skripte schreiben und am besten auch zwei verschiedene Datenträger als Ziele wählen.
Aber auf jeden Fall solltest du dir vorher genau überlegen, wie dein persönlicher Kompromiss zwischen Performance (Backup und Restore), Sicherheit (Anzahl der Dateiversionen) und Kosten (Größe und Art der Backupmedien) aussehen soll.
Viel Spaß dabei! Hat mich auch schon einige Tage und Wochen gekostet.

 

[hatty]

Tja, wer zu spät kommt, den bestraft das Leben.
Während ich meinen Beitrag verfasst habe, war maceis schon schneller.
Aber nun zu niklas-eric (wer so schön

bitte bitte bitte

sagt, dem wird auch geholfen).
Zuerst eine Abbitte an maceis: Ich werde ziemlich viel zitieren müssen, da niclas-eric's Beitrag etwas zurückliegt. Ich hoffe, du siehst es mir nach.

wenn das eine synchronisation macht, dann kann es doch nur komplette dateien von a nach b schieben oder umgekehrt. also kann ich ne iphoto library oder itunes library von den bildern/musikstücken her zwar syncen, aber die entsprechenden xml librarys werden ja nicht ergänzt. gibts dafür ne lösung?

Kein Problem, wenn du die entsprechenden XML-Librarys auch "syncst" (was für eine Vergewaltigung der deutsch und englischen Sprache). Beispielsweise müsstest du neben dem Verzeichnis mit deiner Musik auch noch den Ordner "~/Musik/iTunes/..." synchronissieren.

dass er mail, dokumente und das adressbuch mit dem sync script abgleichen kann, das ist mir schon klar. aber ein mal im monat oder so will er das auch mit der musik und den fotos machen. wie mache ich das?

Indem du entweder das Skript "manuell" ausführst (weiter unten mehr dazu) oder einen crontab-Eintrag für einmal im Monat einträgst .

kann man eigentlich wirklich auch mailkonten damit abgleichen, sodass neue mails vom PB auf den mini kommen und neue vom mini auf das PB?

Abba sischa datt (ich arbeite in Köln). Du darfst nur nicht den --delete Parameter angeben.

kann ich irgendwie anstatt eines cron-jobs der ja zu festen uhrzeiten startet ne ordneraktion der sync scripte erstellen, die beim mounten des PB am mini nachfragt pob gesynct werden soll und die den sync durchführt? wenn ja wie mache ich das?

Ein Weg wäre es, einen Alias von dem Skript auf den Desktop zu legen und über das Kontextmenü "Öffnen mit..." das Terminal auszuwählen. Die anderen werden wahrscheinlich noch einfachere Wege kennen.

allerletzte frage: wie lange dauert das syncen z.b. von zwei je 100MB grossen pages-dokumente ordnern die sich um sagen wir mal 5 MB unterscheiden?

Stimmt ja nur für diesen Beitrag. Ich habe eben gesehen, dass du noch zwei Fragen gestellt hast.
Die Frage kann man nicht pauschal beantworten. Das kommt auf dein Equipment und die Konfiguration an: Erfolgt die Sicherung über ein Netzwerk oder direkt angeschlossene Festplatten bzw. Bandlaufwerke? Ist es eine inkrementelle oder eine vollständige Sicherung? Ein Erfahrungswert aus meiner Praxis: Die vollständige Sicherung von ca. 1GB dauert über ein GigaBit-Netzwerk ca. 100 Sekunden. Ich setze rsync u. a. wegen seiner Geschwindigkeit ein. Da es sich um ein UNIX-Programm handelt, das in der Shell ausgeführt wird, ist es in der Regel schneller als entsprechende Programme mit GUI.
Nun zu deinem 2. Beitrag:

-wenn ich so ein unix-programm zum syncen erstellt habe, was muss ich tun damit es per doppelklick startet. das terminal ist zu viel für meinen 63 jährigen vater der das benutzen soll.

Habe ich weiter oben schon etwas zu geschrieben. Maceis, sheep und die anderen Cracks kennen bestimmt einfachere Wege.

-wenn ich mehrere ordner syncen will, kann ich das alles in eine sonne datei packen, oder muss ich für jeden odner nen neues kleines unix programm erstellen?

Keine Sorge, du kannst alle Verzeichnisse mit einem Skript syncen.
Noch eine Frage zu deinem Avatar: Spielst du des öfteren UT und wenn ja, wo? Vielleicht sieht man sich ja mal.
See ya!

 

[Wile E.]

In der Tat ist ein inkrementelles Backup eine Datensicherung bei der nur und ausschließlich die Daten gesichert werden, die sich seit der letzten Sicherung geändert haben. Wenn ich bowman richtig verstanden habe, möchte er lieber eine tägliche Vollsicherung haben, um auf einen alten Stand der Datei zurückgreifen zu können.

Der ganze Unterschied ist doch lediglich, ob die fruehere Version dabei ueberschrieben wird oder noch zugaenglich bleibt. Vermutlich liegt es daran, dass man beides als inkrementelles Backup bezeichnet. (Die Definition aus Wikipedia zu "differentiell" grenzt sich davon noch nicht mal vernuenftig ab.)
Wile

P.S.: Finds uebrigens gut, welche Arbeit Ihr Euch macht, ich verfolge das schon die ganze Zeit und werde es sicher auch bald einsetzen, sobald ich hier ein Backup-Medium habe...

 

[nicolas-eric]

danke hatty für deine erklärungen.

ich hab das syncen jetzt mal mit 2 ordnern die auf meinem desktop liegen mit dem "macsync" ausprobiert und habe festgestellt dass die gesyncten dateien die von ordner2 in ordner1 gekommen sind erst nach nem neustart des finders sichtbar sind. liegt das daran dass beide ordner nicht auf zwei ungterschiedlichen platten sind?

ansonsten wäre es auch gut zu wissen wie ich mehrere ordner mit einem doppelklick syncen kann. also gehen mehrere sync befehle in ein solches script rein?
evetuell indem ich in die erstellte "sync.command" datei zu dem jetzigen befehl:
"$HOME/.macSync/sync /Users/nicolasemeier/Desktop/ordner1/ /Users/nicolasemeier/Desktop/ordner2/"
das selbe mit anderen ordnern und pfaden hinzufüge und somit mehrere sync befehle aneinander reihe?

du sagtst dass ich auch die xml librarys syncen kann. also wenn ich dann statt einzelner ordner gleich die beiden home-verzeichnisse der beiden rechner synce, dann geht das inkl. iphoto und itunes? die auf beiden rechnern hinzugekommenen titel werden bei beiden auch in die xml übernommen? das wäre ja genial!

ist es schlimm wenn ich den ganzen user-ordner synce? gibt es keine probleme mit dem library ordner und eventuell vorhandenen einstellungen? oder kann man dan auch komplett syncen?

kann ich die "sync.command" datei nicht auch mit nem applescript starten, dass ich als ordneraktion nehme, wenn das home-verzeichnis des einen rechners an dem anderen gemountet wird?

ich weiss dass ich hier fragen stelle wie ein bekloppter und das ich euch bestimmt schon tierisch auf die nerven gehe.
aber ich will halt nachher nicht von meinem alten besserwisserischen vater dumm angemacht werden, dem ich gesagt habe dass das alles fast automatisch funktioniert wenn ich das eingerichtet habe.

danke nochmal für eure hilfe.



ach ja, ich spiele UT2004 nicht mehr wirklich sehr aktiv. leider habe ich da keine zeit mehr für. aber am WE treffe ich mich des öfteren mal im raum HH mit bekannten zu LAN partys.