Arq - Backup Fragen und Diskussion

[StDt]

Hallo zusammen,

ich hätte hier ein paar Fragen an die versierten Arq Backup Nutzer.
Teilweise hängen die Fragen auch mit dem Backup auf AWS zusammen.

Los geht's:

1. Sicherung der Fotolibrary
Fotos scannt ja die Fotos nach Personen, wenn der Mac ans Stromnetz angeschlossen ist und die App nicht genutzt wird. Meinem Verständnis nach kann Arq dann trotzdem ein Backup der Fotolibrary machen, da es seit Arq6 ja mit APFS Snapshots umgehen kann. Oder habe ich das falsch verstanden?
Das heißt, ich kann Arq da eigentlich jederzeit ein Backup machen lassen, ohne dass die Daten im Backup zerschossen sind (wegen Stand Sqlite-Datenbank und Foto-Dateien auf der Platte).

2. Umgang mit gelöschten Dateien
Wie äußert sich der Haken bei "Keep deleted files in subsequent backup records"? Ist dann gekennzeichnet, dass da eigentlich eine gelöschte Datei im Verzeichnis vorhanden ist, die ich trotzdem wiederherstellen kann? Hat da jemand nen Screenshot von?

Das scheint ja auch unabhängig von den Snapshots für AFPS volumes zu sein.

3. Encryption
Da könnte man jetzt ganz schön misstrauisch sein...
Klar, bräuchte ich keine Verschlüsselung, wenn ich inhouse auf mein NAS sichere. Und wenn ich so misstrauisch bin, gehen die Daten nicht außer Haus.
Aber bei einem Backup außer Haus oder auf ein AWS oder OneDrive oder sei es per SFTP auf den eigenen (gemieteten) Server?
Hier muss ich mich auf den Programmierer verlassen. Es kann schließlich keiner den Code einsehen, dass wirklich mein Passwort das einzige ist, das mein Backup verschlüsselt und dann entschlüsseln kann.
Oder habe ich hier auch etwas übersehen?
Die Entscheidung bleibt also jedem selbst überlassen...

4. Backup auf AWS
Fürs Backup auf AWS kann ich ja verschiedene Storage Classes auswählen. Von oben nach unten dauert es länger, bis ich den Inhalt des Backups wieder auf der Platte habe, jedoch wird es auch von oben nach unten günstiger.
Genaueres auch zu den Kosten findet sich auf der AWS Webseite.

Was verwendet ihr? Glacier oder Glacier Deep Archive?
Für Backups von Daten mit hohem ideellen Wert (Familienfotos etc.) müsste doch das Glacier Deep Archive passender sein. Man hätte ja locker mal nen Tag Zeit, bis die Daten zum Backup seitens Amazon wieder bereitgestellt werden...


Mir fallen bestimmt noch mehr Fragen ein, aber der Thread ist ja geduldig.

Beste Grüße,

StDt

 

[pmau]

Vorab, ich kenne Arq nicht. Ich habe keine Ahnung wie viele Dateien es auf S3 schiebt.
Ich bin schon länger auf AWS unterwgs. Meine Meinung dazu ist folgende:

Das Bild ist für S3 in Frankfurt eu-central-1
Man zahlt das meiste für die Operationen selbst, wenn das Backup einmal da liegt, liegt es halt da.

Ich würde als die Backup Einstellungen auf S3 wie folgt konfigurieren
1) Standard S3 für das Programm selbst, da ich keine Ahnung habe wie viele Requests Arq macht.
2) Eine Lifecycle Regel, die einmal im Monat die Daten nach Glacier schiebt. Das läuft dann automatisch
3) Eine Lifecycle Regel, die alle Daten älter als 6 Monate auf dem Standard S3 Bucket löscht.

Ein Restore wäre dann Glacier nach S3, falls die Daten zu alt sind, da der Restore von Standard S3 dann billiger wäre, fallls Du mehrere Versuche brauchst.
Das ist meine Meinung.

Daten auf S3 liegen lassen ist in Ordnung. Du wirst feststellen dass Du für Deine Tests mehr für die Operationen und den Traffic zahlst.

 

[StDt]

Daten auf S3 liegen lassen ist in Ordnung. Du wirst feststellen dass Du für Deine Tests mehr für die Operationen und den Traffic zahlst.

Das habe ich schon festgestellt. Doch die bisher angefallenen 1.01 $ für meine Backup-Versuche von an die 140 GB sind jetzt (noch) nicht die Welt.

Das mit den Backup-Einstellungen auf S3 und den Lifecycle-Regeln müsste ich mir nochmals genauer anschauen. Gibt es dazu Quellen, in denen das (für nicht-ITler) verständlich erklärt wird?
Dann lese ich mich da mal ein.
Danke dir schon mal.

Die Frage ist natürlich auch, ob das mit Arq auch umzusetzen ist. Denn Arq hat ja den Vorteil, dass es dein Backup softwareseitig automatisiert macht und man sonst nicht händisch eingreifen muss.

 

[pmau]

Die Lifecycle Regeln gibt es in der AWS Dokumentation oder https://www.cloudsqueeze.ai/how-to-setup-your-aws-s3-lifecycle-management/index.html
Das habe ich nur schnell gegoogelt.
Ich habe nichts gegen Arq, ich meinte halt nur, dass ich keine Erfahrung damit habe.

Die Lifecycle Regeln macht man auf AWS selbst, wie im Link oben.
Arq benutzt Du dann nur täglich mit Standard S3.

Die "Retention" Einstellungen bei Arq würde ich mir sehr genau anschauen.
Es bringt wahrscheinlich nicht viel, ständig alte Nackups auf S3 aufzuräumen. Das kostet nur.

Ich würde erstmal soviel wie möglich liegem lassen und schauen wie die Storage Kosten sich entwickeln, für die Benutzung zahlst Du sowiso.

Du kannst übrigens auf S3 Seite mit eigenem Private Key verschlüsseln (Serverseitig auf AWS).
Das würde ich Dir sowieso raten, unabhängig von Arq. Die Verschlüsselung ist transparent, aber die Daten sind dann nicht m Klartext auf S3.

Du solltest Dir ausserderm Bucket Policies anschauen, damit Dein Backup nicht "öffentlich" wird.
Ich gehe davon aus, dass Du "Access Key" und "Secret" in Arq hinterlegt hast.

Du kannst über eine IAM Policy zum Beispiel IP Addressen einschränken.
(Ja, ist bei dynamischer IP schecht).

Aus dem Grunde betreibe ich einen Mietserver mit statischer IP, der als Proxy dient und nur von dort Zugriff auf AWS hat.

 

[troubadix2004]

habe mir heute die Trial von Arq Backup installiert und finde das erst mal super. Im Moment mache ich von bestimmten Ordnern alle 1h ein Backup und merke nichts von dem Backup .. so soll es auch sein

Kann man eigentlich einstellen das nachts ein Backup läuft (ich klappe abends mein Air M1 immer zu)?

 

[StDt]

Läuft tadellos.

 

[netternachbar]

weiss einer wie ich alte Backup Daten löschen kann?

 

[troubadix2004]

weiss einer wie ich alte Backup Daten löschen kann?

Meinst Du alte Backups?

Zum Beispiel Backup Dokumente

- 01.01.2021
- 02.01.2021
- 03.01.2021

Und Du möchtest dann zum Beispiel 01.01.2021 löschen?

Dann einfach in das BAckup Dokumente reingehen, dort den Ordner 01.01.201 wählen und rechts taucht dann ein delete button auf.

Ich habe noch eine Retention Policy gesetzt (mache stündlich ein Backup):

- stündlich wird 24h aufgehoben
- täglich wird 30 Tage aufgehoben
- wöchentlich wird 52 Wochen aufgehoben
- monatlich wird 60 Monate aufgehoben

Das erschien mir erst mal sinnig.

 

[netternachbar]

ja genau das meinte und den Knopf habe ich auch gefunden

Danke für deine Hilfe

 

[netternachbar]

@troubadix2004 was für eine Arq Version hast du?
Ich habe die Arq 5.20 da kann ich leider nichts finden wegen Retention Policy

 

[troubadix2004]

@troubadix2004 was für eine Arq Version hast du?
Ich habe die Arq 5.20 da kann ich leider nichts finden wegen Retention Policy

bin gerade erst eingestiegen mit Version 7

 

[kenduo]

Interessant. Arq speichert nur die Änderungen bei den ganzen Versionen?

 

[troubadix2004]

Interessant. Arq speichert nur die Änderungen bei den ganzen Versionen?

So sieht es für mich derzeit aus, ich habe das so eingestellt dass einmal in der Stunde ein Update gemacht wird. Davon merke ich genauso wenig wie eben ein Back-up mit Timemachine erstellt wird

 

[roedert]

Interessant. Arq speichert nur die Änderungen bei den ganzen Versionen?

Arq arbeitet mit Deduplizierung. D.h. gleiche Datenblöcke werden erkannt und Platz gespart. Dient einmal dem benötigtem Speicherplatz als auch der Uploadgeschwindigkeit was ja gerade bei den asymmetrischen Internetanschlüssen sehr von Vorteil ist.

 

[kenduo]

Klingt sehr gut.

Eine Frage. Wie verhalten sich die Blöcke, wenn ich Ordner umbenennt, oder innerhalb des Verzeichnisses verschiebe? Weiß Arq das, dass die Datei jetzt woanders ist oder wird dass dann noch einmal übertragen?

Mein größtes Problem ist für mich immer noch die Fotomediathek. So weit geht aber Arq sicherlich nciht, dass selbst dort Änderungen gesichert werden, oder?

 

[roedert]

Ich weiss jetzt nicht wie gut Arq die Depluzierung umgesetzt hat, aber im Optimalfall wird bei einer verschobenen oder umbenannten Datei vom Dateiinhalt nichts neu übertragen.
Da die Fotomediathek auch nur Dateien sind, wird auch da die Deduplizierung wirken. Diese arbeitet ja auf Block- und nicht auf Dateibasis.
Schau dir doch auf Wikipedia oder sonstwo die detaillierte Erklärung zu Deduplizierung an.