Fotochaos - womit anfangen?

[iMaxer]

Wenn ich jetzt als zentrale Foto-Datenbank das NAS nehme,

... sollte es schon ein flottes sein.

 

[Debianer]

Ich hatte so 40 MB/sec Durchsatz per SMB, hm... ja das könnte möglicherweise ein Problem werden.
Das sollte ich vorher mal testen, ob das überhaupt ausreichend schnell ist.

 

[steve it]

Wenn ich jetzt als zentrale Foto-Datenbank das NAS nehme, dann muss ich natürlich ein Backup woanders hin sichern. Mal schauen wie ich das mache.
Soll ja automatisch passieren und komfortabel sein.

Sehr cool ist Mylio. Das kommt wahrscheinlich in vielen Punkten der Idealvorstellung eines DAMs vieler User sehr nahe. Das synchronisiert dir auch die Fotos zwischen den einzelnen Devices und das auch lokal ohne Cloud (NAS = Vault).

Nachteil:
Derzeit nicht für Linux (ist aber nicht ausgeschlossen). Teuer bzw. subscription-based. Konnte man immer bis 25K Fotos kostenlos nutzen, was mir noch lange reicht. Es gab wohl eine Änderung. Weil ich das schon länger nutze, kann ich es noch zu den alten Bedingungen nutzen (aber auch nicht ewig - dann muss ich sehen).


Es gibt dann noch Photoprism, z.B. für das NAS.
https://photoprism.app/
Habe es selber aber noch nicht getestet.

 

[lisanet]

Ich hatte so 40 MB/sec Durchsatz per SMB,

openmediavault?

 

[Debianer]

Im Moment läuft hier ein kleines QNAP. Der Durchsatz bezog sich auf eine 10GB-Testdatei. Einzelne, viele, kleine Files dürften mehr Zeit brauchen.

Das openmediavault wäre ein interessantes, neues Projekt. Man hätte die Limitierungen des QNAP nicht.

 

[lisanet]

Das openmediavault wäre ein interessantes, neues Projekt. Man hätte die Limitierungen des QNAP nicht.

... ich dachte bei der Frage eher umgekehrt. openmediavault ist sehr konservativ konfiguriert, u.a. ist der Schreibcache von Festplatte abgeschalten. Das macht deutlich was aus.

Ich habe hier ein QNAP TS 431P3. Das bringt lesen 310 MBs und schreiben 270 MBs, ist aber auch mit 2,5 GBit LAN angebunden und als RAID 0. Zusätzlich habe ich auf einem Raspi 4 openmediavault laufen (ein klein wenig gepacht) dort auch einmal RAID 0 und einmal einen Verbund mit mergerfs. Über 1 GBit LAN ergibt das auf dem RAID 0 lesend die vollen 120 MBs

 

[steve it]

Zusätzlich habe ich auf einem Raspi 4 openmediavault laufen (ein klein wenig gepacht) dort auch einmal RAID 0 und einmal einen Verbund mit mergerfs. Über 1 GBit LAN ergibt das auf dem RAID 0 lesend die vollen 120 MBs

USB (immerhin USB-C => Stecker), Raid0 und mergerfs... IMHO keine sonderlich gute Wahl, wenn einem Daten wichtig sind.

Auf der ARM-Plattform würde ich Btrfs im RAID1 nutzen:
"Compare with non anachronistic approaches (ZFS mirror, btrfs raid1 mode): here both data and metadata will be checksummed and these checksums are also stored redundant. When data is read, checksums will be calculated again, then compared and if there's a mismatch (data corruption) then it will be reported (monitor syslog), you can run so called scrubs regularly to check for this type of problem (or check error counters manually: 'btrfs device stats $mountpoint') and if you opt for redundancy then ZFS/btrfs are able to not only detect data corruption but also to repair. Since checksums are in place the corrupt copy of data can be detected and be replaced with a new copy. It's not exactly 'self healing' but protects from a lot more problems and is able to give you an indication of a disk starting to die (unlike mdraid, there it's just a message your disk has died eventually a few weeks later and you already suffer from data corruption that spread into backups too)."
https://forum.openmediavault.org/in...te-a-degraded-raid-1-to-add-a-2nd-disk-later/

 

[Debianer]

Die Performance ist ja ein Traum. Du wohnst also in einem Rechnenzentrum.
Ein Raid 0 einzusetzen, so mutig bin ich nicht und habe hier nur 1GBit-Infrastruktur. Die Festplatten sind auch Raid-Platten, die zwar für den Dauerbetrieb geeignet, aber natürlich nicht so schnell sind wie Desktop-Platten. Dazu kommt, dass das NAS von allen möglichen Geräten irgendwas gesendet bekommt und nebenbei noch eine VM mit iobroker am laufen hat. Schätze das bremst in der Summe.

 

[steve it]

@Debianer: Habe es vielleicht überlesen. Vielleicht ist dein NAS auch einfach schwach oder von der Software her suboptimal.
Auf der anderen Seite waren unter OMV (allerdings mit Optimierung) schon so schwache Dinger wie ein HC2 flott.
https://forum.openmediavault.org/in...2-hdd-and-questions/&postID=200825#post200825

Was ggf. auch eine Rolle spielen kann. Die Samba-Version und ob die "Eigenheiten" von macOS unterstützt werden (das wird in Samba via vfs_fruit nachgebaut).

 

[Debianer]

Ja das kann sein. Ich habe auf dem alten Linux-Desktop, ein ca. 14 Jahre alter Intel Core2, in Samba die fruit-Extensions reineditiert und auf SMB3 eingestellt.
Das alte Möhrchen liefert an den Mac immerhin 80 MB/sec. Also doppelt so viel, auch mit Raid-Platten als Raid 1 bestückt.
Hm... ja vielleicht sollte ich die VM auf ein eigenes Gerät setzen, ich sehe nämlich die CPU öfter bei hoher Last.

 

[ekki161]

80 GB/sec

Flottes Teil.

 

[Debianer]

Hab es schon geändert!

 

[Debianer]

Ich habe das gerade nochmal gescheckt und darauf geachtet das parallel nicht noch irgendwas anderes grade Daten abruft.
Download vom NAS:

Das sieht schon besser aus... 10 GB in 90 Sekunden.

 

[iMaxer]

Ich richte auch gerade Digikam so ein, dass die Bilder auf dem NAS bleiben, die Datenbank jedoch (Variante MySQL internal) auf dem Mac liegt.....

 

[Debianer]

... gut dass du nicht drauf gekommen bist. Nicht jede Datenbank ist multi-user tauglich und erlaubt gleichzeitigen Zugriff.

Ich richte auch gerade Digikam so ein, dass die Bilder auf dem NAS bleiben, die Datenbank jedoch (Variante MySQL internal) auf dem Mac liegt.....

Folgende Anleitung liest sich erst mal ganz spannend:
https://scribblesandsnaps.wordpress.com/2018/10/19/use-digikam-with-a-nas-and-mariadb/
Da könnte ich mir vorstellen, dass das funktioniert evtl wäre es der Performance sogar zuträglich wenn die DB mit den Bildern am gleichen Ort liegt?

 

[Cherusker]

Bevor ich nun einfach irgendwas ausprobiere, frage ich lieber mal die erfahrene Runde.

Bevor Du irgendwelche Software testest, solltest Du Dir eine Ordner-Hierachie überlegen.

Ich benutze folgende Hierachie:

photos/
photos/raw
photos/raw/<Jahr>
photos/raw/<Jahr>/<Monat.Tag\ Beschreibung>

photos/
photos/jpg
photos/jpg/<Jahr>
photos/jpg/<Jahr>/<Monat.Tag\ Beschreibung>

Beispiel:
photo/jpg/2021/12.24\ Heiligabend\ bei\ den\ Schwiegereltern
(Der \ gibt an, dass das folgende Leerzeichen Teil des Ordnernamen ist.)

Die Bilder behalten bei mir den Namen, den die Kamera vergeben hat. Eine Verschlagwortung nehme ich über IPTC-Tags vor. RAW-Dateien verschlagworte ich nicht. Die Ablage von RAW-Dateien in einem eigenen Ordner mit gleicher Unterstruktur wie die JPG-Dateien hilft mir beim Abgleich und als "Backup". Wenn RAW ein echtes Backup sein soll, darf die ganze Struktur natürlich nicht auf den gleichen Massenspeichern wie die JPG-Dateien liegen.

In die oben genannte Ordner-Struktur wandern nur Bilder, die bereits verschlagwortet sind. Der Rest verbleibt bis zur endgültigen Verschlagwortung in einem Bearbeitungsordner.

Dann geht es an die Softwareauswahl. Dafür sollte man sich mit einigen Bildern einen Test-Ordner mit Kopien einiger Bilder anlegen. Wenn man die für sich passende Anwendung gefunden hat, kann dieser verschwinden.

Die Verschlagwortung kann lange dauern. Ich habe dazu gerne lange Winterabende genutzt. So hat es zwar lange gedauert, bis ich Ordnung hatte, aber im Laufe der Zeit wurde ich auch effizienter.

Vorschläge für Anwendungen haben andere schon gemacht. Da halte ich mich raus.

 

[iMaxer]

Die Performance mit lokaler Datenbank und Bildern auf dem NAS ist für mich völlig okay. Jetzt muss nur noch der Zugriff allgemein klappen, also wenn beim Start von Digikam das NAS mal noch nicht hochgefahren ist und so.

 

[maccoX]

Also bei mir gibts Jahresordner und darin Eventordner.
Kannst dir auch mal meinen Thread in der Signatur ansehen und das hier: https://www.macuser.de/threads/maccox-bildimporter-bilder-einfach-vom-iphone-zum-mac.895327/

Ich nutze gern ApolloOne am Mac, das greift wunderbar auf die Ordnerstruktur zu und hat keine Datenbank.

 

[lisanet]

USB (immerhin USB-C => Stecker), Raid0 und mergerfs... IMHO keine sonderlich gute Wahl, wenn einem Daten wichtig sind.

naja, dieses NAS enthält ja nur Backup-Daten, die nochamls woanders gesichert sind, nämlich auf dem QNAP und off-site in der Cloud.

Ich kenne die Debatten hinsichtlich USB, RAID 0 finde sie allerdings auch sehr selten mit fundierten Argumenten unterlegt. Hast du da tiefer gehende Infos, warum das nun schlecht sein soll?

Zu USB: Was soll an dem Stecker "gefährlich" sein? Backups werden oft genug auf USB-Platten gemacht. Davon rät auch niemand ab mit einem Hinweis wie du "Achtung USB ist schlecht wegen des Steckers".

Zu RAID 0: ja, logisch ist ein RAID 0 mit einer höheren Ausfallwahrscheinlichkeit bedacht. Da aber kein RAID ein Backup-Konzept ersetzt, was ist also an einem RAID 0 so kritisch, dass es deinen Hinweis auslöst?

Die Kombination USB und RAID 0 kann ich auch nicht als "gefährlich" erkennen. Worin liegt diese Gefährlichkeit? Das jemand den Stecker abzieht? Ist das USB-Protokoll aus irgendwelchen Gründen nicht geeignet? Woran liegt diese Abwehr von USB und RAID 0?

Und mergerfs. Vielleicht dazu mal eine Klarstellung zum Aufbau des Raspi NAS: 2 x 1 TB USB-Platten zu einem RAID 0, zwei andere USB-Platten mit 1,5 und 2 TB mittels mergerfs zu einem Volume zusammen gefasst.

Was ist nun an mergerfs negativ? Gerade die Fähigkeit, dass die Platten auch außerhalb des Verbundes problemlos ohne weiteres gelesen werden können, ist eher ein Vorteil gegenüber anderen Lösungen, die regelmäßig größere Anstrengung erfordern und je nach Aufbau des Verbundes auch gar nicht einzeln lesbar sind. Man muss ja in mergerfs auch nicht gerade als policy ein zufälliges Verteilen auf alle Platten einstellen.

Wie gesagt, mich würde echt interessieren, was gegen ein NAS auf Raspi-Basis mit mehreren USB-Platten spricht, sowohl als RAID oder als mergerfs-Verbund. Dann könnte man nämlich mal die Risiken bewerten und nach Möglichkeiten suchen, diese zu minimieren oder vermeiden.

 

[lisanet]

Die Performance ist ja ein Traum. Du wohnst also in einem Rechnenzentrum.
Ein Raid 0 einzusetzen, so mutig bin ich nicht und habe hier nur 1GBit-Infrastruktur. Die Festplatten sind auch Raid-Platten, die zwar für den Dauerbetrieb geeignet, aber natürlich nicht so schnell sind wie Desktop-Platten. Dazu kommt, dass das NAS von allen möglichen Geräten irgendwas gesendet bekommt und nebenbei noch eine VM mit iobroker am laufen hat. Schätze das bremst in der Summe.

... ich habe mir halt gedacht, dass wenn ich schon ein NAS mit 2,5 GBit habe, dann will ich es auch nutzen.

Und zum RAID 0: Die Daten darauf sind ja nochmals gesichert. Also soviel Mut braucht es dann nicht. ich habe aber auch den Vorteil, dass nur ich aufs NAS zugreife und nebenbei noch einen weiteren Raspi (nicht den mit openmediavault) habe, der als ZigBee-Gateway, Homebridge und PiHole fungiert. Ich bin halt einwenig Tech-Junkie