Sequentielles Kopieren großer Datenmengen auf kleine Festplatten ("RAID0 Light")?

[daniel908]

... ich fange nochmals mit mergerfs an.

Hat sich denn jemand hier im Thread überhaupt schon mal die Mühe gemacht, dem Link zu mergerfs zu folgen und versucht dort die Funktionsweise nachzuvollziehen?

Ja, hab ich, und ich danke dir sehr für den Tipp!
Ich mag das Konzept, aber für den mir vorliegenden Fall ist das glaube ich nicht die geeignete Lösung.

Ich selbst würde wohl noch damit klarkommen, sowas aufzusetzen und die Festplatten entsprechend zu bespielen.

Aber viel wichtiger als die optionale Anforderung mit dem inkrementellen Backup ist ja die, dass die Platten nachher auch einzeln und ohne Zuhilfenahme von weiteren Tools (außer einem USB-SATA-Adapter) auszulesen sein sollen.
Vielleicht habe ich das nicht konkret genug herausgestellt.
Auf diese Weise möchte ich zum einen Laien ermöglichen, die Daten wieder auszulesen und zum anderen das Risiko minimieren, dass durch den Defekt einer Platte ALLE Daten nicht mehr auszulesen sind.

Da ich solche Datenkopieraktionen außerdem nur sehr selten mache, höchstens 1x im Jahr, möchte ich verhindern, dass ich in der Zwischenzeit vergesse, wie ich das gemacht habe, und jedesmal mich neu einlesen muss (oder sogar, nach Rechnerwechsel o.ä., erstmal Software neu installieren und konfigurieren muss). Daher sollte es technisch so simpel wie möglich umgesetzt sein.

Ich habe mittlerweile mal ChatGPT bemüht, und es und ich haben mittlerweile ein Bashskript auf Basis von rsync erarbeitet, das dem, was ich brauche, etwas näher kommt. Ist aber noch nicht fertig...

 

[lisanet]

Aber viel wichtiger als die optionale Anforderung mit dem inkrementellen Backup ist ja die, dass die Platten nachher auch einzeln und ohne Zuhilfenahme von weiteren Tools (außer einem USB-SATA-Adapter) auszulesen sein sollen.

genau das ist mit mergerfs möglich und der große Vorteil gegenüber anderen Lösungen.

Es vereinbart deine Wünsche: separat lesbar ohne Zusatzsoft- / hafrdware, inkrementelles Backup möglich mit jedweder Software, GUI für openmediafault

Mit rsync-Lösungen wirst du nicht glücklich, da du bei backups nicht das Platzproblem auf einzelnen Platte lösen kannst. Probiere es ruhig und erlebe es selbst.

 

[daniel908]

genau das ist mit mergerfs möglich und der große Vorteil gegenüber anderen Lösungen.

Es vereinbart deine Wünsche: separat lesbar ohne Zusatzsoft- / hafrdware, inkrementelles Backup möglich mit jedweder Software, GUI für openmediafault

Mit rsync-Lösungen wirst du nicht glücklich, da du bei backups nicht das Platzproblem auf einzelnen Platte lösen kannst. Probiere es ruhig und erlebe es selbst.

Ah okay, dass die Platten dann auch einzeln zu lesen sind, war mir nicht bewusst. Großer Pluspunkt!

Ich muss die Platten aber beim Beschreiben schon alle gleichzeitig anschließen, oder? Das wird ein Problem sein. Entweder müsste ich viele USB-Adapter inkl. Stromquellen (es sind 3,5"-Platten) kaufen oder ich müsste mein RAID temporär umbauen und umkonfigurieren. Ach nein, das geht ja nicht, das ist ja die Kopierquelle.

Welches Platzproblem meinst du, das man auf einzelnen Platten lösen muss? Verschenkter Platz, wenn als letztes eine sehr große Datei kopiert wird und diese nicht mehr auf die gerade zu beschreibende Platte passt? Ich habe nur wenig sehr große Dateien im Verhältnis zur Gesamtzahl, daher schätze ich die Wahrscheinlichkeit, dass das passiert, als relativ gering ein.
Und theoretisch kann man ja eine Platte, die aus diesem Grunde nicht vollgeschrieben wurde, am Ende des Vorgangs, wenn alle anderen Platten durch sind, noch einmal anschließen, damit der Rest mit kleineren Dateien befüllt wird.
Oder meinst du etwas anderes?

 

[oneOeight]

Ich muss die Platten aber beim Beschreiben schon alle gleichzeitig anschließen, oder?

Siehe #18
Du kannst entweder alle anschließen und dann erst drauf kopieren oder halt schon vorhandene einhängen, aber dazu müsstest du ja das vorher tun wozu du es brauchst.
Es ist eine Lösung aber nicht für dein Problem.

 

[lisanet]

Ich muss die Platten aber beim Beschreiben schon alle gleichzeitig anschließen, oder?

ja. Geht zwar technisch auch anders, ist aber nicht praktikabel

Welches Platzproblem meinst du, das man auf einzelnen Platten lösen muss?

Wie willst du denn vor dem Start des Backups feststellen, wieviele Dateien auf eine Platte passen? rsync selbst kann das nicht.

Wie löst du das bei folgenden Backupläufen, wenn in einem Ordner, der auf Platte 1 gesichert wurde, weitere Dateien dazu kommen? Lässt du Platz auf Platte 1 vor dem ersten Lauf frei? Irgendwann ist dieser Platz nicht mehr da und dann usst du dir überlegen, was du mit den neu hinzugekommenen oder vergrößterten Dateien machst. Du hast ja keine Platz mehr, also müsstest du entweder alle folgenden Ordner und Platten "weiter schieben", was dein "Platzproblem" nur auf folgenden Platte verschiebt. Die neue Datei dann an das Ende der Sicherungskette anhängen, bringt dich in riesen Probleme beim Restore, da du dann alle Platte immer komplett durchsuchen musst um den vollständigen Inhalt des Ordners wiederherzustellen

Denk dir das mal durch und du wirst sehen, dass es nicht praktikabel wird. Ich habe das alles schon x mal versucht programmtechnisch mit rsync zu lösen, es hat nie zuverlässig automatisiert funktioniert. Irgendwann ist ein Platte voll, zu der eine Folge-Platte existiert. Und dann geht der Wahnsinn los.

Zu Beginn des Computerzeitalters gab es Sicherung auf Band. Das ist systematisch exakt das was du anstrebst. Folge dort: Neue Dateien wurden immer ans Ende des Bandes gesichert und somit musst bei jedem Restore einer Datei immer das gesamte Band durchsucht werden. Was denkst du, warum das heutzutage nicht als Standard beim Backups verwendet wird?

 

[daniel908]

ja. Geht zwar technisch auch anders, ist aber nicht praktikabel



Wie willst du denn vor dem Start des Backups feststellen, wieviele Dateien auf eine Platte passen? rsync selbst kann das nicht.

Gar nicht.
Ich würde einfach so lange Dateien auf die Platte kopieren, bis ein Kopiervorgang aus Platzgründen fehlschlägt. Dann pausiert das Skript und fragt nach der nächsten Platte.
Wenn das nun gerade eine der wenigen 400GB-Dateien war und nur noch 350GB frei sind, sind natürlich 350GB Platz verschenkt, aber wenn ich diese Platte dann einfach am Ende noch einmal anschließe, kann das Skript ja noch weitere kleinere Dateien draufkopieren. Bis wieder ein Kopiervorgang fehlschlägt.

Wie löst du das bei folgenden Backupläufen, wenn in einem Ordner, der auf Platte 1 gesichert wurde, weitere Dateien dazu kommen? Lässt du Platz auf Platte 1 vor dem ersten Lauf frei? Irgendwann ist dieser Platz nicht mehr da und dann usst du dir überlegen, was du mit den neu hinzugekommenen oder vergrößterten Dateien machst. Du hast ja keine Platz mehr, also müsstest du entweder alle folgenden Ordner und Platten "weiter schieben", was dein "Platzproblem" nur auf folgenden Platte verschiebt. Die neue Datei dann an das Ende der Sicherungskette anhängen, bringt dich in riesen Probleme beim Restore, da du dann alle Platte immer komplett durchsuchen musst um den vollständigen Inhalt des Ordners wiederherzustellen

All das spielt ja nur eine Rolle, wenn es nicht ein einmaliger Kopiervorgang ist, sprich z.B. bei einem inkrementellen Backup. Lassen wir das mal außen vor, ist nicht wichtig.

Denk dir das mal durch und du wirst sehen, dass es nicht praktikabel wird. Ich habe das alles schon x mal versucht programmtechnisch mit rsync zu lösen, es hat nie zuverlässig automatisiert funktioniert. Irgendwann ist ein Platte voll, zu der eine Folge-Platte existiert. Und dann geht der Wahnsinn los.

Ich glaube, du denkst da viel komplizierter als ich...

Zu Beginn des Computerzeitalters gab es Sicherung auf Band. Das ist systematisch exakt das was du anstrebst. Folge dort: Neue Dateien wurden immer ans Ende des Bandes gesichert und somit musst bei jedem Restore einer Datei immer das gesamte Band durchsucht werden. Was denkst du, warum das heutzutage nicht als Standard beim Backups verwendet wird?

Wie gesagt, unwichtig. Ich hätte das inkrementelle Backup nicht erwähnen sollen... hab mir schon gedacht, dass das schwierig wird bei dem, was ich vor habe. Und es ist total unwichtig, wäre nur eine nette Zugabe, falls es einfach zu realisieren gewesen wäre.

 

[lisanet]

... wenn du kein inkrementelles backup willst, gut, dann hast du das Problem nicht, stimmt.

Dann probiere dein Glück mit einem script. Wenn du sowas fertig hast, poste es. Das wäre sicherlich interessant. Mit rsync wird das aber eher schwierig werden.

Viel Glück.

 

[daniel908]

... wenn du kein inkrementelles backup willst, gut, dann hast du das Problem nicht, stimmt.

Dann probiere dein Glück mit einem script. Wenn du sowas fertig hast, poste es. Das wäre sicherlich interessant. Mit rsync wird das aber eher schwierig werden.

Viel Glück.

Danke!
Ja, dass ChatGPT dafür rsync einsetzen will, kam mir auch seltsam vor. Ich kenne rsync noch zu wenig, als dass ich genau sagen könnte, ob das klappen kann oder nicht. Aber ich werde mich beizeiten nochmal eingehender damit beschäftigen.
Mit dem Richtigen Drumherum müsste ein einfacher cp-Befehl eigentlich ausreichen für den Kopiervorgang.