Diskussion zu "Automatische Backups und Syncs unter OS X"

[maceis]

Du hast nicht die geringste Ahnung von rsync.
Bitte lies die manpage und arbeite ein wenig mit rsync, bevor Du weiter solchen Unfug verzapfst.

 

[Koshima]

Du hast nicht die geringste Ahnung von rsync.

Dem ist fast so, wie schon zugegeben. Aber Du würdest mir schon helfen, wenn Du das präzisieren würdest: was ist also falsch an meinen Aussagen?

 

[hatty]

@maceis
Na, na, keine persönlichen Angriffe bitte (flasche).

 

[hatty]

Ihr seid ja schneller las die Polizei erlaubt.
@Koshima
maceis hat schon recht, auch wenn ich es nicht ganz so drastisch formuliert hätte.
Auszug aus dem man page:

-b, --backup make backups (see --suffix & --backup-dir)
--backup-dir make backups into this directory
--suffix=SUFFIX backup suffix (default ~ w/o --backup-dir)

-W, --whole-file copy whole files, no incremental checks
--no-whole-file turn off --whole-file

To backup my wife's home directory, which consists of large MS Word files and mail folders, I use a cron job that runs
rsync -Cavz . arvidsjaur:backup

Wer liest ist klar im Vorteil.
Aber Administratoren lesen ja nicht.

 

[Koshima]

Ok, dann fehlt mir ja anscheinend nur noch eines zum Verständnis von rsync: wie stellt rsync fest, welche Teile einer Datei geändert wurden und nur diese Teile damit übertragen werden müssen?

Ein durchnummerieren eines Exemplares ("Backup"-Option bei rsync) ist doch kein Backup? Ich hab hier ein Verzeichnis mit komplexen Strukturen, in Summe über 600.000 Dateien. Davon mache ich Backups. Täglich. Lösche ich ein Unterverzeichnis mit zig-tausend Dateien, wie stelle ich die "einfach" wieder her? Per Hand umbenennen nach dem Zurückkopieren? Wie soll rsync entscheiden, welche Verzeichnisse tatsächlich wegkönnen? Ich versteh das leider nicht...

Ich bin gern bereit zu lernen... ich suche nämlich auch die Lösung...

 

[maceis]

...
Ich bin gern bereit zu lernen... ich suche nämlich auch die Lösung...

Dann solltest Du zuerst einmal die manpage lesen und verstehen.
Dann ein wenig mit rsync arbeiten und noch einmal die manpage lesen.

Wenn Du komfortable Lösungen suchst, kannst Du Dir natürlich Skripte schreiben, die speziell auf Deine Bedürfnisse zugeschnitten sind.
Dazu würde ich empfehlen, zunächst einmal die Anforderungen zu analysieren und präzise zu definieren.
Vor allem, wenn die Anforderungen sehr komplex sind, muss man sich natürlich immer fragen, ob es eine fertige Software gibt, die diese Anforderungen erfüllt.
Eigene Lösungen sind i.d.R. flexibler, aber man muss sie halt auch selbst erarbeiten.

 

[Koshima]

Hm, vielleicht versteh ich ja die manpage nicht so richtig, daher wäre ich Dir dankbar wenn Du mir da was erklären könntest.

1) Wie weiß rsync welche Teile einer Datei geändert wurden und deshalb übertragen werden müssen,

2) die Option -b macht ein "Backup", und man kann mit --backup-dir einstellen, das bei einem weiteren Backup das "alte" Backup woanders hin soll. Hab ich dann also höchstens zwei Versionen der Datei, oder gehen da mehrere?

3) Was ist, wenn ich im Original was lösche? Wie wird das gebackupt?

Für eine vernünftige Antwort wäre ich dankbar.

 

[maceis]

zu 1) mir persönlich egal, wie rsync das genau macht,steht aber in der manpage:

The rsync remote-update protocol allows rsync to transfer just the dif-
ferences between two sets of files across the network connection, using
an efficient checksum-search algorithm described in the technical
report that accompanies this package.

zu 2) Da ist halt etwas Kreativität gefragt
Es gibt es jede Menge Lösungsmöglichkeiten.
In einem Skript kann man doch einfach das backup-dir rotieren.
In der zsh geht z.B. sowas:

for i in {0..9}
do
echo mv /pfad/backupdir.$i /pfad/backupdir.$(($i+1))
done

oder man macht z.B. sowas

--backup-dir /pfad/backup.`date +%m%d`

zu 3) Der aufmerksame manpage Leser findet die Option "--delete" und verwandte Optionen und zieht seine Schlüsse .

HTH

 

[Koshima]

Du behauptest, ich schreibe Unsinn (siehe Dein Post #101), es interessiert Dich aber nicht, wie es wirklich geht? Dabei ist das bestimmt wichtig. Weißt Du es? Du schreibst, es steht halt alles in den man pages... liess doch mal schnell und erklär es hier, so dass nicht alle Mitleser die man pages lesen müssen. Und vielleicht versteh' ich es dann endlich auch.

Wo ist der Unterschied zwischen den Mechanismen von rsync, rcp, tar & co? Ist es nicht grad das "Remote Update Protocol", welches rsync so effektiv bei der Übertragung von grossen Datenmengen über das Netz macht? Nutz ich das nicht, kann ich genauso tar & co nehmen. Setzt nicht ein Protokoll einen Protokollhandler auf beiden Seiten voraus? Läuft auf dem Zielsystem kein rsync, welches dieses Protokoll unterstützt, kann dann rsync nicht auch "nur" stumpf die gesamte Datei kopieren? Ich halte das für sehr wichtig, weil es genügend Leute mit richtig grossen Datenmengen gibt, die über jede noch so kleine Geschwindigkeitssteigerung des Backups dankbar wären... Wo ist mein Denkfehler?

...
Das macht keinen Sinn... (auch Post #101)

Dann hab ich entweder den Unterschied zwischen inkrementellem oder differentiellem Backup nicht verstanden, oder nicht erklären können? Dabei sind das so elementare Dinge eines Backups... ein Differenzbackup ist natürlich nicht gleich einem Inkrementalbackup. Vielleicht kann es Dir ein anderer User besser erklären?

Und ja, es ist halt sehr viel Kreativität gefragt, um ein richtiges Backup durch Bordmittel zu realisieren, das glaube ich auch. Und auch ja, man sollte erst die Anforderungen analysieren, bevor man sowas macht. Soll ich mal anfangen? Es gibt da bestimmt einige Dinge, die allgemeingültig sein sollten...

 

[maceis]

Du behauptest, ich schreibe Unsinn (siehe Dein Post #101), es interessiert Dich aber nicht, wie es wirklich geht?
...

Das wird mir jetzt langsam wirklich zu dumm. Ich sagte nicht, mich interessiere mich nicht, wie man rsync benutzt, ich sagte es interessiert mich nicht, wie rsync "weiss, welche Teile einer Datei geändert wurden". Das sind Interna, die für die Benutzung ebenso irrelevant sind, wie z.B. die Frage, wie das Terminalfenster generiert wird, in dem die Skripte eingetippt werden.

...
Dabei ist das bestimmt wichtig. Weißt Du es? Du schreibst, es steht halt alles in den man pages... liess doch mal schnell und erklär es hier, so dass nicht alle Mitleser die man pages lesen müssen.
...

Wer zu bequem ist, die manuals zu lesen, sollte nicht erwarten, dass andere das für einen tun.
Ich bin gerne behilflich bei der Lösung von konkreten Problemen, dies erfordert aber auch konkrete Fragen.
Ich setze außerdem voraus, dass der Fragende selbst bereits einen Versuch unternommen hat, die Aufgabe zu lösen und dies auch zu erkennen gibt z.B. in dem er Code postet und sein Problem präzise und knapp beschreibt; manchmal besteht IMHO die beste Hilfe in einem Hinweis, wo man nachlesen muss.
Dir möchte ich u.a. diese und diese (hier insbesonder 7. Absatz) Lektüre ans Herz legen.

...
kann ich genauso tar & co nehmen.
...

Welches Programm für Deine persönlichen Bedürfnisse am besten geeignet sind, musst Du anhand Deiner Bedürnisse und anderer Kriterien festlegen.

...
Dann hab ich entweder den Unterschied zwischen inkrementellem oder differentiellem Backup nicht verstanden, oder nicht erklären können? Dabei sind das so elementare Dinge eines Backups... ein Differenzbackup ist natürlich nicht gleich einem Inkrementalbackup. Vielleicht kann es Dir ein anderer User besser erklären?
...

Danke, die Unterschiede sind mir durchaus geläufig.
Warum Deine Definition keinen Sinn macht, habe ich oben begründet.
Ein Problem ist außerdem, dass die Begriffe nicht immer exakt gleich vewendet werden. Es sind z.B. auch die Begriffe "differentiell inkrementelles Backup" und "kumulativ inkrementelles Backup" in Umlauf.
Am Ende ist es aber egal, wie man den Hund nennt, Hauptsache er macht genau das was man von Ihm erwartet.

...
Soll ich mal anfangen? Es gibt da bestimmt einige Dinge, die allgemeingültig sein sollten...

Wenn Dir danach ist, kannst Du das gerne machen.
Ich würde aber der Übersichtlichkeit halber empfehlen, einen eigenen Thread dafür zu starten und hier ggf. nur einen Link und einen Hinweis, worüber Du schreibst zu posten.

 

[jlepthien]

Mensch maceis, schuettelt euch doch mal die Hand
Du verweist natuerlich immer gerne auf die man pages, es gibt ja aber vielleicht auch Leute die kein Englisch koennen und zumindest denen koennte man helfen, indem man konkrete antworten gibt. Aber du hast durchaus recht damit, dass man sich schon generell die Manpages durchlesen sollte, wenn man solche Terminal Aktionen startet, allein um alle Moeglichkeiten des Programms auszunutzen.

 

[Koshima]

@maceis:

Das wird mir jetzt langsam wirklich zu dumm. Ich sagte nicht, mich interessiere mich nicht, wie man rsync benutzt, ich sagte es interessiert mich nicht, wie rsync "weiss, welche Teile einer Datei geändert wurden". Das sind Interna, die für die Benutzung ebenso irrelevant sind...

Dann wirst Du wohl nicht wissen, warum rsync mit z.B. einem SMB-Ziel genauso langsam ist wie z.B. tar. Weil da die Delta-Übertragung eben nicht geht. Das bei lokalen Dateisystemen rsync auch nicht schneller ist, sondern "nur" bei entfernten Quellen oder Zielen, und auch nur dann, wenn auf beiden Systemen rsync läuft. So viel also zu "es ist mir egal". Ich finde, solche Sachen sollte man dann auch nennen. Woher weißt Du, das ich die man pages nicht lese?

Das man seine Bedürfnisse erst analysieren und dann das entsprechende Tool auswählen sollte, ist wohl den meisten Leuten klar. Aber danke für den Hinweis.

Alles fing mit meiner ernst gemeinte Frage an, ob ich etwas nicht verstanden hätte, und der Aussage, das ein Replikat kein Backup ist. Daraufhin wurde ich hier von Dir (maceis), hm, "angefeindet", ist das das richtige Wort? Und Dir ist es zu dumm? Was soll ich da erst sagen? Ein freundliches "Schau mal, Du hast da vielleicht wirklich ein falsches Verständniss..." hätten einem Mod meiner Meinung nach besser zu Gesicht gestanden. Wo ist das Problem? Aber Du hast Recht, vielleicht sollten wir nicht hier, sondern per PN weitermachen...?

Ich würde gern zu der Backup-FAQ beitragen, und natürlich auch von ihr profitieren.

 

[maceis]

Mensch maceis, schuettelt euch doch mal die Hand
Du verweist natuerlich immer gerne auf die man pages,
...

So oft verweise ich gar nicht auf die manpage.
Wenn aber jemand beginnt, Aussagen über ein Programm zu posten, mit dem er offensichtlich noch nie richtig gearbeitet hat, nehme ich mir das schon heraus.
Wer mich kennt, weiss auch, dass ich oft und gerne helfe.
Wenn aber jemand, der keine Ahnung hat beginnt "Tipps" zu geben, dann versuche ich wenigstens dir gröbsten Fehler klarzustellen.

...
Das bei lokalen Dateisystemen rsync auch nicht schneller ist, sondern "nur" bei entfernten Quellen oder Zielen, und auch nur dann, wenn auf beiden Systemen rsync läuft. So viel also zu "es ist mir egal". Ich finde, solche Sachen sollte man dann auch nennen. Woher weißt Du, das ich die man pages nicht lese?
...

Ich habe nicht behauptet, dass Du die manages nicht liest, Du weisst aber nicht, was drin steht.
Ich haltes es außerdem für ziemlich dreist, mich aufzufordern die manpage zu lesen und hier zu erklären, damit andere sie nicht lesen müssen.

Es ist übrigens so, dass rsync mit entfernten Zielen/Quellen ohnehin grundsätzlich nur dann funktioniert, wenn rsync auf beiden Rechnern installiert ist.
Auch ist es falsch, dass rsync bei lokalen Aktionen "nicht schneller ist" (schneller als was?) sondern es ist so, dass bei lokalen Pfaden standardmäßig auf die Anwendung des "incremental rsync algorithm" verzichtet wird, gerade weil bei lokalen Dateisystemen oft davon auszugehen ist, dass der gesamte Vorgang schneller abläuft, wenn die Datei gleich ganz übertragen wird (das Vergleichen dauert also mehr Zeit, als der Kopiervorgang auf der lokalen Platte).

...
Das man seine Bedürfnisse erst analysieren und dann das entsprechende Tool auswählen sollte, ist wohl den meisten Leuten klar. Aber danke für den Hinweis.
...

Das wahr eine ernstgemeinte Antwort auf die Frage, warum Du nicht tar verwenden sollst.

...
Alles fing mit meiner ernst gemeinte Frage an, ob ich etwas nicht verstanden hätte, und der Aussage, das ein Replikat kein Backup ist. Daraufhin wurde ich hier von Dir (maceis), hm, "angefeindet", ist das das richtige Wort? Und Dir ist es zu dumm? Was soll ich da erst sagen? Ein freundliches "Schau mal, Du hast da vielleicht wirklich ein falsches Verständniss..." hätten einem Mod meiner Meinung nach besser zu Gesicht gestanden. Wo ist das Problem? Aber Du hast Recht, vielleicht sollten wir nicht hier, sondern per PN weitermachen...?
...

Es fing mit der Aussage an, dass rsync keine Backups macht sondern Replikate und der flaschen Definition verschiednener Backupstrategien.
Meine Korrektur in Posting 101 hast Du wohl als Kriegserklärung interpretiert, obwohl das mitnichten so gemeint war.
Ich habe das richtiggestellt.

...
Ich würde gern zu der Backup-FAQ beitragen, und natürlich auch von ihr profitieren.

Gerne, aber dann bitte mit konkreten (und vor allem richtigen) Aussagen und nicht mit falschen Informationen über die Funktion eines Programmes, das Du vielleicht erstmal ausprobieren musst. Lässt sich ja sehr leicht mit einer paar Testverzeichnissen machen.

 

[Koshima]

Ok ok, also ich fasse es nicht als Kriegserklärung auf. Überdies bemühe ich mich um einen freundlichen, unverbindlichen und nicht beleidigenden Ton. Keks?

Vielleicht kommen wir ja doch noch überein. Was ist denn falsch an meiner Definition von Inkrementellem und Differentiellen Backup? Hab ja sogar geschrieben, das ich es leider nicht besser erklären kann. Aber den Unterschied kenn ich wahrscheinlich schon... die anderen Begriffe wie "kumulativ differentiell... " kenne ich auch in diesem Zusammenhang, aber das versteh ich dann leider doch nicht. Kannst Du es mir erklären? Vielleicht sollte man das allen mal erklären, damit wir einen gemeinsamen Wortschatz haben?

Warum bevorzugst Du rsync gegenüber z.B. tar?

 

[Koshima]

Ich zieh die Frage zurück (warum bevorzugst Du...). Ich seh ein, das rsync mit den --backup... - Parametern in der Lage ist, "Backups" anzulegen.

 

[jlepthien]

Ok ok, also ich fasse es nicht als Kriegserklärung auf. Überdies bemühe ich mich um einen freundlichen, unverbindlichen und nicht beleidigenden Ton. Keks?

Vielleicht kommen wir ja doch noch überein. Was ist denn falsch an meiner Definition von Inkrementellem und Differentiellen Backup? Hab ja sogar geschrieben, das ich es leider nicht besser erklären kann. Aber den Unterschied kenn ich wahrscheinlich schon... die anderen Begriffe wie "kumulativ differentiell... " kenne ich auch in diesem Zusammenhang, aber das versteh ich dann leider doch nicht. Kannst Du es mir erklären? Vielleicht sollte man das allen mal erklären, damit wir einen gemeinsamen Wortschatz haben?

Warum bevorzugst Du rsync gegenüber z.B. tar?

Weil rsync im Gegensatz zu tar die Resource Forks der Dateien mitkopiert.

 

[maceis]

Weil rsync im Gegensatz zu tar die Resource Forks der Dateien mitkopiert.

Leider nicht richtig .
Unter 10.4 kopieren rsync/tar die Ressourceforks mit < 10.4 kann man z.B. hfsrsync/hfstar einsetzen, wenn man die Ressourceforks benötigt.
Die muss man aber selbst installieren.

 

[maceis]

@ Koshima
Falls ich irgendwo unbeabsichtigt einen beleidigenden Ton angeschlagen habe, bitte ich vorsorglich um Entschuldigung. Ist mir jdenfalls nicht bewusst, dass dem so wäre.

Was an Deiner Definition falsch ist, hatte ich oben schon gepostet.

...
Ein Vollbackup sichert alle zu sichernden Dateien.
Ein Inkrementelles Backup sichert alle seit dem letzten Voll- oder Inkrementalbackup geänderten Dateien.
Ein Differenzbackup sichert alle seit dem letzten Vollbackup geänderten Dateien.

Wenn ein inkrementelles Backup eine Kopie anfertigt von allen Dateien, die nach dem letzten Voll- oder Inkrementalbackup geändert wurden, werden alle gesichert, die nach dem letzten Vollbackup geändert wurden.
Eine inkrementelle Sicherung interessiert sich nicht für die Änderungen im Vergleich zur letzten Vollsicherung sondern nur für die Änderungen im Vergleich zur letzten Sicherung.
Man könnte auch sagen ():

echo "Ein Inkrementelles Backup sichert alle\
 seit dem letzten Voll- oder Inkrementalbackup geänderten Dateien."\
| sed 's/\(.*\)V.*b\(.*\)/\1B\2/'

Gute Erklärungen gibt es im Internet zuhauf, das muss nicht ich mit meinen unbeholfenen Worten erklären ;
einfach mal googlen und sofort findet man das hier und vieles mehr.

...
Warum bevorzugst Du rsync gegenüber z.B. tar?

Wo bitte habe ich behauptet, ich würde rsync gegenüber tar vorziehen (und noch dazu gernerell).
Falls Du diesen Thread ganz gelesen hast, ist Dir vielleicht aufgefallen, dass ich eine alternative Strategie mit `tar' vorgeschlagen habe.
Ich möchte außerdem noch auf die Kommandos `find' und `stat' hinweisen, die manchmal in Backupskripten ebenfalls hilfreich sein können.

 

[Wile E.]

Was an Deiner Definition falsch ist, hatte ich oben schon gepostet.

Wenn ein inkrementelles Backup eine Kopie anfertigt von allen Dateien, die nach dem letzten Voll- oder Inkrementalbackup geändert wurden, werden alle gesichert, die nach dem letzten Vollbackup geändert wurden.

Nein, wenn das letzte ein Inkrementalbackup war, dann nicht. Da soll wohl auch der Unterschied lt. Koshima liegen.

echo "Ein Inkrementelles Backup sichert alle\
seit dem letzten Voll- oder Inkrementalbackup geänderten Dateien."\
| sed 's/\(.*\)V.*b\(.*\)/\1B\2/'

LOL

Wile

(Gabs fuer solche Diskussionen nicht eigentlich nen extra-Thread? kopfkratz Muss wohl bei Gelegenheit mal ein Mod ein wenig aufraeumen...)

 

[maceis]

Nein, wenn das letzte ein Inkrementalbackup war, dann nicht. Da soll wohl auch der Unterschied lt. Koshima liegen.
...

Dann sollten wir wohl als nächstes die Bedeutung des logischen Operators "oder" genau definieren .
Ein Ausdruck der der aus mehreren Bedingungen entsteht, die mit `oder' verknüpft sind ist mMn dann und nur dann wahr, wenn mindestens eine der Bedingungen wahr ist.

Im Grunde genommen ist aber diese Definition von "inkrementell" - obwohl weit verbreitet - nicht ganz korrekt.
increment heisst ja eigentlich "heraufzählen" oder auch "um einen Schritt erhöhen".
Deswegen ist genaugenommen ein differentielles Backup eine besondere Form des inkrementellen Backus, weswegen mir auch die o.g. (kumulativ und differentiell) Begriffe besser gefallen.
Der allgemeinem Sprachgebrauch hat sich aber anders entwickelt.

Wie inkonsequent die Begriffe verwendet werden zeigen auch diese drei widersprüchlichen Defintionen aus dem selben Haus:
Pro-Datenrettung Datensicherung FAQ - Was ist ein inkrementelles Backup?
Pro-Datenrettung Datensicherung FAQ - Was ist ein differentielles Backup?
http://www.pro-datenrettung.net/datensicherung-datenrettung/inkrementelles-backup.html