96TB Datenabgleich/Backup offline

[chris_native]

Workstation A und B haben jeweils ein RAID5 mit 96TB Arbeitslaufwerk.
Ich arbeite tagsüber an A und möchte das abends nach B mitnehmen.
Es werden pro Tag natürlich nicht alle 96TB verändert, sondern vielleicht 500GB max.

- Sync über Internet fällt flach wegen Geschwindigkeit/Nadelöhr Upload etc..
- Sync über zusätzlichen 96TB-Koffer zum Hin und Her auch recht sperrig und nervig..

Ich möchte als Wechseldatenträger lediglich eine SSD (1TB oder 2TB) nehmen, auf der lediglich
das "Delta", also die Veränderungen/Neuerungen, abgespeichert wird und das dann an den
Standorten A und B jeweils aktualisiert.

Ich nutze momentan Carbon Copy Cloner, der benötigt aber immer A und B zum Abgleich.

Da muss es doch softwaretechnisch eine Lösung geben, oder?

 

[oneOeight]

Um ein Delta zu kriegen, müsstest du ja die auf den RAIDs schon selber erstellen.
Ist das Hardware oder Software RAID?

 

[chris_native]

Um ein Delta zu kriegen, müsstest du ja die auf den RAIDs schon selber erstellen.
Ist das Hardware oder Software RAID?

SoftRAID auf beiden Workstations.

 

[oneOeight]

Kann das Snapshots?
So dass du morgens einen machst und dann abends den anderen.
Und davon dann ein diff.

 

[lisanet]

Wenn du dich einwenig mit Terminal.app auskennst, kannst du das recht einfach mithilfe der Befehle "find" und "rsync" selbst erstellen. Damit könntest du dann mit find alle Dateien ermitteln, die am jeweils heutigen Tag geändert oder erzeugt wurden und diese Dateien dann in ein Zielverzeichnis z.Bsp, auf deiner externen SSD kopieren.

Ich habe mal spaßeshalber ne KI gebeten, so ein script zu schreiben, auch wenn ich es selbst ebenso gekonnt hätte. Ich muss sagen, es ist gut gelungen. Respekt an ChatGPT.

Hier das Script und die Erklärung dazu:

#!/bin/bash

# Zielverzeichnis, in das die Dateien kopiert werden sollen
zielverzeichnis="/pfad/zum/zielverzeichnis"

# Heutiges Datum in Format JJJJ-MM-TT
heutiges_datum=$(date +"%Y-%m-%d")

# Finde alle Dateien, die heute verändert oder erstellt wurden, und kopiere sie ins Zielverzeichnis
find /pfad/zum/quellverzeichnis -type f -newermt "$heutiges_datum" -exec rsync -a {} "$zielverzeichnis" \;

Stelle sicher, dass du /pfad/zum/zielverzeichnis und /pfad/zum/quellverzeichnis mit den tatsächlichen Pfaden zu deinem Ziel- und Quellverzeichnis ersetzt. Das Skript verwendet die Option -newermt von find, um nach Dateien zu suchen, die am heutigen Tag verändert oder erstellt wurden, und rsync -a wird verwendet, um die Dateien in das Zielverzeichnis zu kopieren.

Speichere das Skript in einer Datei mit einem passenden Namen, z. B. "find_and_rsync.sh". Stelle sicher, dass das Skript ausführbar ist, indem du den Befehl chmod +x find_and_rsync.sh verwendest, und führe es dann aus, indem du ./find_and_rsync.sh eingibst. Das Skript wird dann alle relevanten Dateien finden und sie in das angegebene Zielverzeichnis kopieren.

Das analoge Script, dieses Delta dann auf den Rechner B zu integrieren, kannst du mit diesen Kenntnissen sicher selbst edrstellen. Ich habe das jetzt mal noch nicht gemacht, da ich nicht weiß, ob du Terminal nutzen willst / kannst.

 

[chris_native]

Kann das Snapshots?
So dass du morgens einen machst und dann abends den anderen.
Und davon dann ein diff.

Leider nein.

 

[chris_native]

Wenn du dich einwenig mit Terminal.app auskennst, kannst du das recht einfach mithilfe der Befehle "find" und "rsync" selbst erstellen. Damit könntest du dann mit find alle Dateien ermitteln, die am jeweils heutigen Tag geändert oder erzeugt wurden und diese Dateien dann in ein Zielverzeichnis z.Bsp, auf deiner externen SSD kopieren.

Diese Lösung kopiert dann alle neuen/geänderten Daten auf den Wechseldatenträger. Und wie bekommt man diese dann auf der anderen Workstation wieder zurück in die jeweils richtigen Ordner?

 

[oneOeight]

Mit rsync oder mit dem Finder, der kann ja inzwischen Ordner zusammenführen.

 

[lisanet]

Diese Lösung kopiert dann alle neuen/geänderten Daten auf den Wechseldatenträger. Und wie bekommt man diese dann auf der anderen Workstation wieder zurück in die jeweils richtigen Ordner?

bevor ich mir die Arbeit mache.... ich habe es ja schon oben geschrieben ....kennst du dich mit Terminal aus, so dass du auch mit solchen Scripten zurecht kommst? Falls ja, frage ich nochmals ChatGPT

Edit:

Wenn du dir den Befehl rsync ansiehst, dann erkennst du, dass das __der__ Befehl ist, genau das zu tun, nämlich Verzeichnis A mit B zusammen führen, geänderte upzudaten neue hinzuzufügen und alle anderen unangetastet zu lassen.

Ein "man rsync" im Terminal gibt dir dazu mehr Infos.

Solltest du damit nichts anfangen könne, ein gut gemeinter Tipp: lass das mit den Scripten und such nach einer GUI-Lösung für rsync, welche die Dateien vorher filtert nach Änderungsdatum.

 

[chris_native]

bevor ich mir die Arbeit mache.... ich habe es ja schon oben geschrieben ....kennst du dich mit Terminal aus, so dass du auch mit solchen Scripten zurecht kommst? Falls ja, frage ich nochmals ChatGPT

Naja ich hab Terminal hier und da schon mal auf und benutze Befehle per copy&paste. Früher auf dem C128 auch mal bischen Basic und hinterher Turbopascal am PC...bin kein Profi..aber ja grundsätzlich "verstehe" ich solch Befehlszeilen schon..

 

[lisanet]

Naja ich hab Terminal hier und da schon mal auf und benutze Befehle per copy&paste. Früher auf dem C128 auch mal bischen Basic und hinterher Turbopascal am PC...bin kein Profi..aber ja grundsätzlich "verstehe" ich solch Befehlszeilen schon..

Und hast du jetzt schoin mal die manpage von rsync gelesen? Falls ja, woran hängt es, dass du nicht weiter kommst? Das aufspeilen des Deltas ist das grundlegenste Beispiel.

Wie gesagt, ich will dir das bewusst nicht vorkauen, da ich leider die Erfahrung gemacht habe, dass es dann nicht funktioneirt, weil das Verständnis fehlt und irgendetwas anders gemacht wird, was niemand erahnen kann.

Ganz grob: rsync -au /meine/quelle /mein/ziel

Aber lese die manpage. Sonst wird das nix.

 

[lisanet]

@chris_native

... mir ist eine App eingefallen, die ich mal hatte: Synctime

Die findest du im App-Store -> https://apps.apple.com/de/app/synctime/id590386474?mt=12

Damit sollte sich das alles machen lassen, da du dort "Filter" anlegen kannst und so eben z.B. nur die in den letzten x Tagen / Monaten / etc erzeugten oder geänderten Dateien syncen kannst.

Auch das weitere "Zusammenführen" geht dann mit einer zweiten Synceinstellung.

Autimatiseren kannst du das ebenso.

 

[chris_native]

@chris_native

... mir ist eine App eingefallen, die ich mal hatte: Synctime

Die findest du im App-Store -> https://apps.apple.com/de/app/synctime/id590386474?mt=12

Hello!
Oh cool, ja vielleicht nehme ich zur Sicherheit doch er was in Richtung drag&drop. DANKE für den Hinweis! Hatte auch RsyncOSX als Gui probiert...