Backup einer externen Festplatte (28TB) auf mehrere kleinere Festplatten

Bin Packing ist halt kein einfaches Problem, obwohl man es in linerarer Zeit lösen kann.
Ich hatte mal noch zu Disketten Zeiten ein Programm geschrieben, um Dateien möglichst füllend auf Disketten zu verteilen.

Müssen die Dateien bei dir denn zusammen bleiben?
Oder kann man die verteilen?
 
Die Struktur der Dateien auf der großen Platte sollen so bleiben. Da wird halt regelmäßig von mehreren Nutzern lesend und schreibend zugegriffen.

Wo es verteilt ist und wie das auf den Backupmedien aussieht, ist mir egal, wenn ich gezielt Teile davon wiederherstellen kann. Kann auch ein Blob aus fünf bis sechs Teilen mit allem sein, der irgendwie auf den Platten drauf ist.
 
Zip würde ich nicht nehmen, weil man da immer alle Teile zum entpacken braucht.
Rar oder 7zip.
Allerdings wird das erstellen wohl schon ein Problem, es sei denn man kann da schon auf die nächste Ziel Volume warten
 
  • Gefällt mir
Reaktionen: ruerueka
@Macschrauber und @oneOeight

Danke für die Ideen! Das mit dem Packen ist ja ganz nett, aber was vereinfacht es? Dann muss ich jedes Mal beim Backup egal ob manuell oder per Script alles packen und komplett auf die Festplatten schieben.

Momentan habe ich die beiden Festplattensets (2 x sechs 5TB-Platten). Die Sets kommen im Wechsel einmal die Woche angestöpselt.

Die Verzeichnisbäume heißen anders, aber das ist mein Schema:
  • Verzeichnisbaum A auf der Quelle wird mit Platte A als Ziel synchronisiert.
  • Verzeichnisbaum B auf der Quelle wird mit Platte B als Ziel synchronisiert.
  • Verzeichnisbaum C auf der Quelle wird mit Platte C als Ziel synchronisiert.
  • Verzeichnisbaum D auf der Quelle wird mit Platte D als Ziel synchronisiert.
  • Verzeichnisbaum E auf der Quelle wird mit Platte E als Ziel synchronisiert.
  • Verzeichnisbaum F auf der Quelle wird mit Platte F als Ziel synchronisiert.
In der Regel ändern sich da irgendwas zwischen ein paar 100MB und 20GB. Geht also relativ fix, Mit FreeFileSync geht das wunderbar, ich kann auch vorher schauen, ob da jemand was gelöscht hat, was nicht gelöscht werden sollte. Mein Backup ist immer maximal eine Woche alt, ist auch okay für mich. Kostet mich pro Platte drei bis fünf Minuten echten Aufwand, während FreeFileSync vergleicht bzw. kopiert kann ich ja was anderes machen. Hinzu kommt: Ist eine externe Platte kaputt, tausche ich sie einfach aus, kostet mich derzeit ca. €100. Dann habe ich das Backup der Woche zuvor. Nur wenn die große Platte den Geist aufgibt, muss ich da was austauschen oder mir wieder so ein fettes Teil holen (ist ja auch nicht ganz billig).
Bin Packing ist halt kein einfaches Problem, obwohl man es in linerarer Zeit lösen kann.
Mir ging's um Vereinfachung ohne Investition in neue Hardware. :)

Mein aktuelles System ist simpel und ich dachte, ich könnte es mit einer guten Backupsoftware verbessern. Snapshots sind toll, also ist im Moment sogar die Überlegung, das Gleiche vielleicht zukünftig mit Backupjobs in CCC zu machen.

Noch cooler wäre es halt gewesen, wenn das Backuptool einfach immer die letzte der 5-6 Festplatten bekäme und selbst "wüsste", was auf den anderen Platten ist und nur die Änderungen seit dem letzten Backup auf die letzte Platte schreibt, oder eine bestimmte Platte "anfordert". Redundanzen gibt's bestimmt auch, wenn die Backupsoftware doppelte Dateien auch noch erkennt und so Platz spart, super. Also Anforderungen zu Komplexität hätte ich selbst genug. ;) Allem Anschein nach ist mein Anwendungsfall zu spezifisch.

Selbst skripte ich mir so was nicht.
 
Mit Launchd Watchfolder oder Ordener Aktionen solltest du es etwas vereinfachen können.
Platte dran, löst die Aktion aus und macht das Backup der geänderten Dateien.
 
  • Gefällt mir
Reaktionen: Connor MacLeod
Wenn mehrere oder alle Quell- und Ziel-Platten gleichzeitig angeschlossen sein können, kann man soweit ich mich erinnere auch ein Skript anlegen bzw. einstellen, daß nach Abschluß der ersten Sicherung automatisch die nächste startet.

Man kann auch einstellen sobald eine dieser Platten angeschlossen wird, das entsprechende Backup-Set startet.
 
Welches Backuptool kann ein auf mehrere Medien verteiltes Backup?

Das Problem das du mit einem Backup über mehrere Backup-Platten hast ist die Art der Verteilung auf die diversen Platten.

Sobald eine Backup-Platte voll ist und sich eine darauf befindliche Datei vergrößert oder ein darauf befindlicher Ordner zusätzliche Dateien erhält, musst du diese Dateien auf neuen Platte anlegen. Das wiederum bedeutet, dass du für eine Rücksicherung immer alle Platten der Reihe nach durchgehen musst, da du nicht weist, ob nicht irgendwo später eine neuere Version einer Datei vorhanden ist oder ein zusätzliche Datei in einem Ordner hinzu gekommen ist.

Ähnliches ergibt sich bei Löschen einer Datei. Auch hier musst du alle Platten der Reihe nach durchgehen, damit du entweder die exakte gleiche Datei findest und löschen kannst, wenn du eventuell vorherige Versionen behalten willst, oder aber jede eventuell vorhandene Version auf diversen Platten löschen kannst.

Um dies einigermaßen vernünftig handhabbar zu machen, brauchst du ein Backup-Programm, dass eine Datenbank über alle durchgeführten Sicherungen und Löschungen macht. Ich kenne kein derartiges Programm. Am nähesten wird wohl sowas wie BorgBackup kommen. Ob dies aber Backups auf mehrere Platten unterstütz weis ich nicht.

Da du ja schon Backups auf mehrere Platten machst, kennst du diese Problem sicherlich schon. Daher suchst du wohl auch nach komfortableren Lösungen.

Diese komfortableren Lösungen basieren immer darauf, dass man diese diversen Speicherorte zu einem logischen Volume zusammen fasst. Am einfachsten geht das mit einem NAS. Das willst du aber nicht.

Alles andere ist keine Klicki-Bunti-Lösung, aber machbar.

Du kannst dir z. Bsp. auch ein NAS, besser gesagt einen Festplattenverbund, versuchen selbst zu bauen, indem du alle deine Platten auf einmal an deinen Mini hängst und über all diese Platte dann ein logisches Volume / Festplattenverbund baust.

Ich empfehle dir dazu, dich mal in mergerfs und SnapRAID einzulesen. mergerfs macht nicht nur einen zusammenhängenden Speicherpool, das könnte ein RAID auch, es erlaubt dir auch alle Platte einzeln weiterhin ohne jeden Aufwand zu lesen, was bei Platten aus einem RAID nicht oder nicht so einfach geht. Zudem kannst du mit mergerfs Platten unterschiedlicher Größe kombinieren und hast immer die Gesamtkapazität, was bei einem RAID nicht geht.

SnapRAID kann dir dann ergänzend zu mergerfs die Ausfallsicherheit eines RAID bieten, für den Ausfall einer oder (bei mehreren Platten für SnapRAID) mehrere Platten des mergerfs-Verbundes.

Das erfodert aber ein kleinwenig Know-How im Umgang mit Terminal und Co. Die Seiten von mergerfs und SnapRAID sind aber nicht allzu Linux-freaky gehalten. Man kann es verstehen.

Hier die Links:

BorgBackup -> https://github.com/borgbackup/borg

Mergerfs -> https://github.com/trapexit/mergerfs

SnapRAID -> https://www.snapraid.it
 
  • Gefällt mir
Reaktionen: Connor MacLeod
Hab SnapRAID mal überflogen, hört sich gut an, außer, dass die aus Performance Gründen sagen "Avoid any kind of USB disks".
Also hier sollen ja USB Platten verwendet werden.
Meine Film Sammlung ist leider auch über USB Disks verteilt, so eine Parity Sicherung wäre natürlich von Vorteil.
 
Hab SnapRAID mal überflogen, hört sich gut an, außer, dass die aus Performance Gründen sagen "Avoid any kind of USB disks".

Wenn du eh schon USB-Platten verwendest, dann kommt es auch nicht mehr drauf an. Probiere es doch aus. Das erste Erstellen wird aber dauern. Ist aber auch nicht zu vermeiden.
 
@lisanet
Das klingt nach einem Weg.

Ich könnte einen größeren USB-Hub nehmen (hab mal geschaut, Anker bietet was mit 7 USB 3 Ports < €100) und die fünf, sechs Platten da alle mit einem Mal an den mini hängen. Wenn die zu einem Volume zusammengefasst sind, habe ich tatsächlich wieder Auswahl bei den Backupprogrammen. Mal schauen, ob ich das dann mit BorgBackup hinbekomme oder dann doch so was wie CCC nehme.

Dankeschön! :)

P.S.: Mit Deiner Idee habe ich mich jetzt einfach mal geschaut. Für den Raspi Pi gibt's etliche Lösungen, mit denen man so ein Konglomerat an Festplatten als RAID zusammentackert. Einer liegt hier noch ungenutzt rum. :D
 
Für den Raspi Pi gibt's etliche Lösungen, mit denen man so ein Konglomerat an Festplatten als RAID zusammentackert. Einer liegt hier noch ungenutzt rum.
Ich habe mit einem Raspi 4 und openmediavault ein NAS aus 4 USB-Platten gebaut. 2 Platten laufen als RAID 0, 2 mit mergerfs.

Ich musste dazu aber daber OMV patchen, um die Sperre aufzuhebn, dass USB-Disks nicht für RAID verwendet werden können. Du kannst aber natürlich auch alles nur mit mergerfs zusammen fassen. Das Pluging für OMV läuft problemlos.

Ein Tipp zu OMV. Schalte den write-cache der einzelnen Disks ein. Nur so kriegst du die normale Performance der Platten. OMV schaltet diese in der Standardeinstellung ab.

Edit:

Wenn du auf dem Mini Linux laufen lässt, kann du mergerfs einfacher darauf einsetzen, als mergerfs auf macOS, das mergerfs ein FUSE-Filesystem ist, und FUSE auf dem Mac eher langsam ist und schlecht unterstützt wird.
 
  • Gefällt mir
Reaktionen: Connor MacLeod
Ich habe mit einem Raspi 4 und openmediavault ein NAS aus 4 USB-Platten gebaut. 2 Platten laufen als RAID 0, 2 mit mergerfs.

Ich musste dazu aber daber OMV patchen, um die Sperre aufzuhebn, dass USB-Disks nicht für RAID verwendet werden können. Du kannst aber natürlich auch alles nur mit mergerfs zusammen fassen. Das Pluging für OMV läuft problemlos.

Ein Tipp zu OMV. Schalte den write-cache der einzelnen Disks ein. Nur so kriegst du die normale Performance der Platten. OMV schaltet diese in der Standardeinstellung ab.
Das probiere ich demnächst aus. Kann ja erst mal mit ein paar anderen Platten basteln und testen. Das Ding muss auch nicht ständig laufen. OMV scheint auch für jemanden wie mich beherrschbar zu sein.

Fein! :):):)
 
Zurück
Oben Unten