Sequentielles Kopieren großer Datenmengen auf kleine Festplatten ("RAID0 Light")?

[daniel908]

Welches (Backup- / Klon- / Dateimanagement-Programm kann unter macOS große Datenmengen auf kleinere Festplatten kopieren, und zwar so, dass es jedesmal pausiert, wenn eine Festplatte voll ist, so dass man eine neue Festplatte anschließen und das Kopieren dann fortsetzen kann?

Quasi ähnlich wie ein RAID0 ohne Striping und mit seriellem statt parallelem Anschließen der Festplatten

Eine Funktion zum inkrementellen Aktualisieren des Backups (wohl mittels einer Datenbank, die trackt, was auf welcher Festplatte gespeichert ist, und Änderungserkennung auf der Quelle) wäre dann noch das i-Tüpfelchen, ist aber kein Muss, da ich diesen Vorgang nur ca. einmal pro Jahr mache und dann kann ich auch eine komplette Kopie machen.

Usecase: Ich möchte ein Backup von knapp 24TB Daten auf 6 Stück 4TB-Festplatten erstellen, so dass ich an die Daten später ggf. wieder leicht herankomme, ohne dass ich einen RAID-Controller benutzen muss und ohne das Risiko des kompletten Datenverlustes, wenn eine der Platten ausfällt. Und ohne Geldausgabe für einen weiteren RAID-Controller und eine Redundanz-Platte.

Ich möchte auch vermeiden, dass ich selbst die Daten auswählen muss, die ich jeweils auf diese Festplatten kopiere.

Ich kenne solches Kopieren noch aus MS-DOS-Zeiten, wenn man "größere" Datenmengen auf Floppy-Disks kopiert hat. Ich glaube, damals ging sowas mit "xcopy". Daher hoffe ich, dass es das auch heute noch gibt.

 

[oneOeight]

Willst du auf die Daten so zugreifen können oder geht auch ein Split Archiv?
Das ist alles nicht so trivial wie du denkst.

 

[MrChad]

Interessante Frage ... (Lösung habe ich keine)

Eigentlich witzig, dass so eine ganz selbstverständliche Funktion von Floppydisks es nicht bis zu (USB-) Festplatten geschafft hat.
Da bin ich mal neugierig, was es hier so für Lösungen/Workarounds geben wird.

 

[oneOeight]

An sich funktioniert die ältere Floppy Software dafür auch noch, wenn man die Größe der Zielvolumen angeben kann.
Für Classic MacOS gab es mal DeAL.

Toast hat auch ein Disk Spanning Feature, aber das funktioniert über segmentierte Tar Dateien.

 

[tocotronaut]

Zum Suchen in (katalogisierten) Externen Laufwerken könnte der Neofinder helfen.
https://www.cdfinder.de/

Bei den Floppy war das laufwerk ja immer gleich - man hat nur eine andere Disk eingeschoben.
Jetzt ist es so, dass du eigentlich immer das Laufwerk wechselst.
deshalb ist es meiner meinung nach nicht komplett zu vergleichen und etwas komplizierter...


Vielleicht gibt es bei den CD-Brennprogrammen sowas noch - ich meine aber das ich das damals fast immer händisch durch auspobieren auf 750 MB aufgefüllt habe...


Ich würde vermutlich 2x 12 oder 14 TB Platten nehmen und schauen ob ich manuell einen Cut bei den Dateien machen kann.

 

[oneOeight]

Ein einfacher Algorithmus zum Aufteilen:
Nach Größe absteigend sortieren.
Dateien wählen bis es knapp passt.
Danach nur noch die nächste noch passende bis es voll ist.
Kann man im Finder Fenster schön machen, wenn man unten die Größe der Auswahl anzeigen lässt.

An sich muss man noch die Blockgröße beachten, weil Dateien auf den verschiedenen Laufwerken insgesamt unterschiedlich groß sein können.
Wobei heutzutage die Dateisysteme meist eh 512k Blöcke haben.

Wahrscheinlich bist du so von Hand schneller durch als du eine passende Software finden würdest.

 

[lisanet]

... willst du eine eher professionelle Lösung, dann mach folgendes

- bau dir ein NAS mit openmediavault und stecke deine kleinen Platten dort hinein.
- nutze das plugin für mergerfs.

Das macht genau das was du willst: es fasst die Kapazität aller Platten zusammen und bietet dir somit die Gesamtkapazität.
Die einzelnen Platten können auch unterschiedlich groß sein.
Alle Platten sind auch einzeln ohne NAS, ohne mergerfs, ohne openmediavault lesbar. Das Dateisystem (wohl meist ext4) muss halt bescherrscht werden.
Du kannst auch bereits teilbefüllte Platten einem solchen Verbund hinzufügen.
Du kannst auch beliebige Platten nachträglich zum Verbund hinzufügen und so die Kapazität erweitern.
Die Systematik der Speicherung einzelner Dateien legst du durch verschiedene policies fest

-> https://github.com/trapexit/mergerfs

 

[ruerueka]

... willst du eine eher professionelle Lösung, dann mach folgendes

- bau dir ein NAS mit openmediavault und stecke deine kleinen Platten dort hinein.
- nutze das plugin für mergerfs.

[...]

Müssen dann nicht immer alle Platten verfügbar sein? D.h. ich benötige _eine Menge_ Anschlüsse..., oder?
Edit: für professionelle NAS- oder Server- Hardware gibt es das natürlich, aber man kann dann eher nicht mal dafür den gebliebenen mac mini ec. nehmen...

 

[lisanet]

Müssen dann nicht immer alle Platten verfügbar sein? D.h. ich benötige _eine Menge_ Anschlüsse..., oder?

ja, darum habe ich ja geschrieben "eher professionelle Lösung".

 

[tocotronaut]

Nacheinander anstecken ist eigentlich logisch, gibt es aber wohl nicht mehr wirklich.

Ich denke dass von den meisten für das Backup einfach immer größere (Einzel-)Platten gekauft wurden.

Aber 24 TB sind einfach eine Hausnummer.
Platten mit 22 Gigabyt gibt es, 24er kommen erst demnächst...
Solche Duo-Disks mit zwei Platten darin sollten aber auf die Größe kommen.


Offtopic:
Günstige Hardware zum Selberbauen:
https://www.afbshop.de/pcs/alle-pcs...in10pro?c=31#b281a42217723aa03c98a848a526cbc5

 

[lisanet]

Nacheinander anstecken geht auch jetzt noch. Halt übers Terminal mit den Befehel cpio, tar, split und Co. Das ist nicht das Problem. Da wird dann hintereinander weg die Dateien gesichert. Das Problem ist eher der Wunsch, dass anschließend ein inkrementelles Backup gemacht werden soll. Das würde dann zwar ein dem Wortlaut nach auch gehen: die neuen Dateien würden dann halt ans Ende des sequentiellen Erst-Backups angehängt werden. Das hätte dann aber zur Folge, dass bei einem Restore immer das gesamte Backup von Anfang an durchgegange werden muss.

Ein inkrementelles Backup, dass im Backup vorhandene Dateien ersetzt, ist mit dem Wunsch nach "hintereinander weg schreiben" nicht vereinbar, da neuerer Datein auch durchaus größeren Platzbedarf haben könnten, der dann auf einer Platte, auf die noch andere folgen, nicht mehr vorhanden sein kann.

Daher ist der Wunsch zwar schön und augenscheinlich "einfach zu lösen", scheitert aber am "inkrementellen, ersetzenden Folge-Backup"

Für allen anderen Teilaspekte des Wunsches ist mergerfs die Lösung kombiniert mit jeder banalen rsync-backup-Lösung frei nach Vorliebe.

 

[daniel908]

Hallo und besten Dank erstmal für eure zahlreichen Antworten!

Willst du auf die Daten so zugreifen können oder geht auch ein Split Archiv?

Eigentlich möchte ich auf die Dateien direkt übers Dateisystem zugreifen können.

Das ist alles nicht so trivial wie du denkst.

Ja, scheint mir auch, als wäre das nicht trivial. Obwohl es sich so trivial anhört....

Zum Suchen in (katalogisierten) Externen Laufwerken könnte der Neofinder helfen.
https://www.cdfinder.de/

Bei den Floppy war das laufwerk ja immer gleich - man hat nur eine andere Disk eingeschoben.
Jetzt ist es so, dass du eigentlich immer das Laufwerk wechselst.
deshalb ist es meiner meinung nach nicht komplett zu vergleichen und etwas komplizierter...

Guter Punkt – zumindest müsste man im Falle von Festplatten vermutlich sicherstellen, dass sie alle im selben Mountpoint eingehängt werden, was bei macOS heißt: Sie müssen alle denselben Volumenamen haben. Das wäre das kleinste Problem...

Vielleicht gibt es bei den CD-Brennprogrammen sowas noch - ich meine aber das ich das damals fast immer händisch durch auspobieren auf 750 MB aufgefüllt habe...


Ich würde vermutlich 2x 12 oder 14 TB Platten nehmen und schauen ob ich manuell einen Cut bei den Dateien machen kann.

Naja, ich will ja eben meine bereits vorhandenen 4TB-Platten benutzen anstatt etwas Neues zu kaufen.
Verkaufe ich die 4TB-Platten und kaufe stattdessen 14/10TB-Platten, zahle ich drauf. Wollte ich gerne vermeiden. Aber vielleicht ist das letztendlich dann doch die beste Lösung... manuell den einen Cut zu machen, dürfte nicht so schwer sein.

Ein einfacher Algorithmus zum Aufteilen:
Nach Größe absteigend sortieren.
Dateien wählen bis es knapp passt.

Puh... die ca. 2 Millionen Dateien sind über zigtausend Verzeichnisse verteilt. Also mit Dateien geht das sortieren, heraussuchen auf keinen Fall. Höchstens mit Verzeichnissen. Aber auf dem root-level sind nur wenige, so dass es da wahrscheinlich keine passende Aufteilung geben wird. Also muss ich doch in Level 2 oder 3 abtauchen, um an der richtigen Stelle jeweils den cut zu machen.
Das könnte kompliziert werden.... Oder übersehe ich da eine einfache Möglichkeit?

Danach nur noch die nächste noch passende bis es voll ist.
Kann man im Finder Fenster schön machen, wenn man unten die Größe der Auswahl anzeigen lässt.

An sich muss man noch die Blockgröße beachten, weil Dateien auf den verschiedenen Laufwerken insgesamt unterschiedlich groß sein können.
Wobei heutzutage die Dateisysteme meist eh 512k Blöcke haben.

Wahrscheinlich bist du so von Hand schneller durch als du eine passende Software finden würdest.

Wenn es gar keine passende Software gibt, dann hast du wohl recht...

... willst du eine eher professionelle Lösung, dann mach folgendes

nein, will ich nicht. Aber danke für den Hinweis mit openmediavault. Kannte ich noch gar nicht. Vielleicht wird das später mal interessant.

- bau dir ein NAS mit openmediavault und stecke deine kleinen Platten dort hinein.
- nutze das plugin für mergerfs.

Das macht genau das was du willst: es fasst die Kapazität aller Platten zusammen und bietet dir somit die Gesamtkapazität.

Die einzelnen Platten können auch unterschiedlich groß sein.

Alle Platten sind auch einzeln ohne NAS, ohne mergerfs, ohne openmediavault lesbar. Das Dateisystem (wohl meist ext4) muss halt bescherrscht werden.

Oh, das klingt wiederum dann doch interessant!
Aber zum Beschreiben dieses Pseudo-RAIDs in einem Durchgang mit den 24TB Quelldaten müssen dann doch wieder alle Platten gleichzeitig angeschlossen sein, nehme ich an?

Du kannst auch bereits teilbefüllte Platten einem solchen Verbund hinzufügen.

Du kannst auch beliebige Platten nachträglich zum Verbund hinzufügen und so die Kapazität erweitern.
Die Systematik der Speicherung einzelner Dateien legst du durch verschiedene policies fest

-> https://github.com/trapexit/mergerfs

 

[tocotronaut]

Das inkrementelle Backup ist ja kein muss kriterium...

tar/split & co klingt für mich jetzt nicht so als könnte man direkt (im finder) auf die gesicherten dateien zugreifen.
Ich bilde mir ein herausgelesen zu haben dass er die dateien der platte direkt sehen möchte.

Edit: da hat es sich überschnitten

Eigentlich möchte ich auf die Dateien direkt übers Dateisystem zugreifen können.

 

[ruerueka]

Oh, das klingt wiederum dann doch interessant!
Aber zum Beschreiben dieses Pseudo-RAIDs in einem Durchgang mit den 24TB Quelldaten müssen dann doch wieder alle Platten gleichzeitig angeschlossen sein, nehme ich an?

Ja, siehe Lisanets Antwort in Post 9

 

[tocotronaut]

JBOD (Just a bunch of disks) ist ein Suchbegriff in der Richtung...

 

[oneOeight]

Oder übersehe ich da eine einfache Möglichkeit?

Wenn die Ordner selbst nicht größer als das Ziel sind, kopierst du halt erst die Ordner der Größe nach.
Alles was größer ist, musst du nur aufsplitten.

Achte auf jeden Fall auf die Blockgröße von Quelle und Ziel.
Bei vielen kleinen Dateien wird sonst die Abweichung recht groß vom Platz.

 

[lisanet]

... ich fange nochmals mit mergerfs an.

Hat sich denn jemand hier im Thread überhaupt schon mal die Mühe gemacht, dem Link zu mergerfs zu folgen und versucht dort die Funktionsweise nachzuvollziehen?

mergerfs hat gegenüber RAIDs oder JBODs oder dem anitquierten "Diskettenwechsel" dermaßen viele Vorteile, dass ich nicht so recht verstehe, warum hier dann immer wieder von so unrealistischen, problembehafteten Dingen wie "muss ich alle Platten anstecken" gesprochen wird. Einzelne Platten zu befüllen wird spätestens bei 2. Backup-Lauf zum Problemfall.

Das klingt wie der Versuch der berühmten Quadrierung des Kreises. Da gibt es eine super Möglichkeit, die man aber alle deswegen nicht nutzt, weil sie etwas unerfüllbares nicht erfüllt.

Wenn ihr mir das nicht glaubt, dann sucht einfach mal nach "rsync split multiple volumes" und ihr werdet viele Fragen finden, die exakt den Wunsch hier haben, aber keine Lösung dazu finden, die nicht einen riesigen manuellen Vorabaufwand hat und dennoch nicht das "inkrementell ersetzende" Backup-Platzproblem löst.

 

[oneOeight]

Ich hab es mir angesehen auf der Projektseite, gibt es denn auch in OMV eine GUI dafür?
Scheint mir ja sonst eher für Fortgeschrittene zu sein.
Das mit allen Platten hat der TE doch gefragt weil er nicht weiß wie man das ganze aufsetzt.
Und ohne alle Platten anzuschließen kommt er nicht herum die Aufteilung vorher zu machen.
Anscheinend ist kein NAS vorhanden.

 

[lisanet]

Ich hab es mir angesehen auf der Projektseite, gibt es denn auch in OMV eine GUI dafür?

ja

Scheint mir ja sonst eher für Fortgeschrittene zu sein.

darum habe ich "eher professionell" geschrieben.

 

[tocotronaut]

naja. Im grunde sucht er einen kopierbefehl der, wenn der platz auf dem Medium nicht reicht nach dem nächsten Medium fragt...


inkrementelles backup ist nicht zwingend notwendig, da es eher ein Archiv ist das einmal im Jahr erneuert wird.
da käme dann auch komplett neu kopieren in betracht.