300.000 Bilder von einer SSD zu einer HDD kopieren - Tool

[jteschner]

"Wie der Finder" ... Die Betriebssysteme können das - eigentlich - alle, nur der antiquarische Finder hat bei größeren Datenmengen ein prinzipielles Problem und ja, verschluckt sich dabei gerne = ist unbrauchbar zum Kopieren größerer Datenmengen über holperige Netzstruktur. Ja, ich nutze für so etwas auch Forklift ;-).

Forklift - ich auch. Zudem mit eingebauter Sync-Funktion, die sehr zuverlässig funktioniert. Langsamer als rsync - aber einfacher.

 

[Macschrauber]

Wenn Fehler beim Kopieren auftauchen, die Laufwerke untersuchen. Fehler werden durch die Smart Technologie gelogged.
DriveDx wäre ein einfach zu handhabendes Tool, dafür.

Für Kopien, mit denen der Finder überfordert ist, Rsync oder schlicht cp im Terminal. Lernkurve für rsync ist nicht ohne, aber es lohnt sich.

 

[erikvomland]

Ich würde mir eine große Nextcloud holen (Online)Und dann erst einmal Nextcloud alles syncen lassen... dann sind die erst einmal Safe. Da wird jede Datei einzeln syncronisiert

Für einen Kopiervorgang von 300Tsd. womöglich grossen Bilddateien, die man dazu lokal vorliegen hat auf ein anderes lokales Medium übertragen will,
womöglich noch einfach per Kabel in Armlänge mitnander verbunden...die soll man als Alternative lieber doch paarmal um die halbe welt und ins Internätz dafür jagen zur Übertragung? Sorry, aber...

 

[Veritas]

Ich würde der Einfachheit ein Backup anlegen, mit Forlklift, ChronoSync oder dergleichen syncen und den Rest mit Hazel, GC und Co. kurz durchjagen. Mit Gemini Dubletten finden und fertig. Hatte ich erst vor nem Jahr für nen Freund gemacht mit glaub 140.000 Bildern.

 

[jteschner]

Mannometer. Eigentlich ist das doch eine MickeyMaus-Aufgabe, die man mit Drag'nDrop mal eben erledigt.
Läuft zwar etwas wegen der Datenmenge aber ansonsten: alltäglich.

 

[geronimoTwo]

Hallo,
ich möchte 300.000 Bilder ... kopieren.

300.000 Bilder. Wow. Bist du ein Bildarchiv-Dienstleister, Stadtarchivar oder Bildverkäufer?

Ernstgemeinte Frage, denn für einen Privatier macht diese Angabe keinen Sinn – es sei denn du hättest seit deiner Geburt jede Minute einmal auf den Auslöser deiner Digicam gedrückt.

 

[jteschner]

300.000 Bilder. Wow. Bist du ein Bildarchiv-Dienstleister, Stadtarchivar oder Bildverkäufer?

Ernstgemeinte Frage, denn für einen Privatier macht diese Angabe keinen Sinn – es sei denn du hättest seit deiner Geburt jede Minute einmal auf den Auslöser deiner Digicam gedrückt.

Ähnlich habe ich auch gedacht ... vielleicht "Generation-Smartphone-Vielknipser-inkl_Speisen-und-alles-Aufheber"
Spässle!

 

[lisanet]

Ähnlich habe ich auch gedacht ... vielleicht "Generation-Smartphone-Vielknipser-inkl_Speisen-und-alles-Aufheber"
Spässle!

Das sind die besten Kunden für Apple, Samsung, Synology und Co im Hinblick auf Aufrüstungen von Speicherplatz, externen SSD und NAS.

 

[tomtom007]

Für einen Kopiervorgang von 300Tsd. womöglich grossen Bilddateien, die man dazu lokal vorliegen hat auf ein anderes lokales Medium übertragen will,
womöglich noch einfach per Kabel in Armlänge mitnander verbunden...die soll man als Alternative lieber doch paarmal um die halbe welt und ins Internätz dafür jagen zur Übertragung? Sorry, aber...

Hi Eric,

mir geht es auf jedenfall um die Sicherung der Daten mehr nicht. Ob nun 300.000 Bilder als Privatperson wichtig sind muss jeder selbst entscheiden.
Vielleicht bin ich auch zu schnell im Netz und lade es lieber hoch anstatt lokal zu sichern.

Ich habe einen Freund der hat 80GB Bilderdaten vom Schützenverein aus der Vergangenheit so lange man Fotos und Unterlagen hatte. Alles gescannt per PDF oder eben Bilddaten gescannt und abgelegt. Damit die Daten safe bleiben hat er die auf einer Festplatte im Schreibtisch ... Witzig wie oft haben wir das schon erlebt, warum dreht die nicht mehr hoch etc.... Da habe ich ihm einen Nextcloud Speicher bei mir eingerichtet und er ist happy. Die Daten liegen weiterhin auf der 2,5Zoll Platte im Schreibtisch, aber er hat den aktuellen bestand immer Online in der Cloud und hat überall Zugriff darauf.
Die Nextcloud hat eine gute Sicherung - das ist natürlich vorrausgesetzt.

 

[iMac2011]

Hi Eric,

mir geht es auf jedenfall um die Sicherung der Daten mehr nicht. Ob nun 300.000 Bilder als Privatperson wichtig sind muss jeder selbst entscheiden.
Vielleicht bin ich auch zu schnell im Netz und lade es lieber hoch anstatt lokal zu sichern.

Ich habe einen Freund der hat 80GB Bilderdaten vom Schützenverein aus der Vergangenheit so lange man Fotos und Unterlagen hatte. Alles gescannt per PDF oder eben Bilddaten gescannt und abgelegt. Damit die Daten safe bleiben hat er die auf einer Festplatte im Schreibtisch ... Witzig wie oft haben wir das schon erlebt, warum dreht die nicht mehr hoch etc.... Da habe ich ihm einen Nextcloud Speicher bei mir eingerichtet und er ist happy. Die Daten liegen weiterhin auf der 2,5Zoll Platte im Schreibtisch, aber er hat den aktuellen bestand immer Online in der Cloud und hat überall Zugriff darauf.
Die Nextcloud hat eine gute Sicherung - das ist natürlich vorrausgesetzt.

Heutzutage ist es halt auch einfacher denn je, Fotos zu machen und zu speichern. Smartphones, Digitalkameras sorgen dafür, dass Bilder schnell und in großen Mengen gesammelt werden. Dazu kommen gescannte Fotos aus alten Alben, Bilder aus früheren Generationen oder historische Aufnahmen alles kann digitalisiert und archiviert werden.

So ist es auch bei mir, ein Teil stammt von meiner eigenen Digitalkamera Urlaubs und Ausflüge, einen anderen hab ich mal auf Blu-ray geparkt. Wieder andere Fotos habe ich gescannt und aufbereitet. Mit all diesen Quellen wächst das Archiv ganz automatisch das zeigt, wie vielseitig die Geschichten sind, die Bilder erzählen können.
Momentan ist alles auf einer Platte gelagert, ein Teil liegt auf besagter BD und ein Teil auf ner ollen SSD die ohne Gehäuse über Adapter angeschlossen ist.
Da bereits vorhandene Ordner auf diesen unterschiedlichen Quellen mit einer unterschiedlichen Anzahl von Bildern existieren, müssten diese zusammengeführt werden. Ich bin jedoch unsicher, wie ich diese Aufgabe über den Finder lösen könnte.
Zwar werden die Bilder ansich keinen großen Wert für andere haben, aber für mich halt möchte ich sie aufbewahren.
Wenn ich irgendwann dann mal soweit sein sollte alles auf einer Quelle ordentlich zu haben ohne Unfälle kann ich mal überhaupt sehen wieviel Dubletten dabei sind und diese löschen.

 

[Mister79]

Was für eine einfache Aufgabe, für eigentlich jeden Dateimanager. Selbst der Explorer in Windows kann über markieren und verschieben die Daten einfach hin und her schaufeln. Warum sollte der Finder das nicht auch können oder die angenehmere Alternative, welche man nutzt. Gibt ja auch auf Windows Leute die parallel noch den Windows Commander oder Norton Commander nutzen (oder wie der sich heute nennt). Eigentlich eine ganz einfache und simple Aufgabe, welche nur durch die Dateigröße mal länger, mal kürzer dauert. Fotos von a nach b sichern, scheint hier echt zu einer maximalen Aufgabe zu werden, einige hier wollen ja auch den Terminal dazu nutzen.

 

[erikvomland]

Smartphones, Digitalkameras sorgen dafür, dass Bilder schnell und in großen Mengen gesammelt werden.

Schon, aber überlege, 300 Tsd. Pics. Wer soll das alles noch sichten, wofür es ja da sein soll? Da bist ja Monate mit beschäftigt. selbst wenn man nix anderes macht. Und auch wie die Zahl zustande kommt, jeden Apfelbissen womöglich photographiert sozusagen und viel Äpfel gegessen..

Dies aber nur als Randgedanke, nicht als Kritik an den TE gemeint.

 

[iMaxer]

Was für eine einfache Aufgabe, für eigentlich jeden Dateimanager.

In der Theorie ja.....
Ich gehe davon aus, dass die Routinen zur Ermittlung der Metadaten für sehr große Daten-Volumina nicht immer gut genug getestet sind. Eben, weil es sehr lange dauert, bis die Fehler auftauchen.

 

[Mac1985]

Was für eine einfache Aufgabe, für eigentlich jeden Dateimanager.

Naja, das mag mal als Laie so annehmen, die naturwissenschaftlich-technische Realität kann da aber ganz anders ausschauen. Gerade bei Massenprozessen hängt es stark von der Organisation des Vorgangs ab - der Finder z.B. ist ursprünglich mal auf Einzeldateitransportbasis gebaut worden und die daraus resultierenden Geschwindigkeitsverluste würde heute niemand mehr akzeptieren (und die Junge Generation hat mit "Organisieren" eh so ihre Herausforderung ... ;-) ...).

 

[lisanet]

Heutzutage ist es halt auch einfacher denn je, Fotos zu machen und zu speichern. Smartphones, Digitalkameras sorgen dafür, dass Bilder schnell und in großen Mengen gesammelt werden.

ja, das ist schon klar.

Aber bei 300.000 Fotos ist das schon eher sowas wie "knipsen, speichern und nie mehr ansehen".

Ich fotografiere seit Jahrzehnten, erst analog, dann Digital. Vielleicht kommt es daher von den analogen Zeiten, dass ich nicht auf Masse fotografiere und hoffe, dass was brauchbares dabei ist. Ich behalte auch nicht erst mal alle Fotos in der Absicht, irgendwann später mal auszusortieren.

Ich lösche locker 80% oder mehr meiner Fotos wieder.

Nachdem ich die Fotos des Tages in LRC habe, scanne ich die durch und markiere erst mal diejenigen, die sofort weg kommen. Das sind die Fotos, die einfach keine Aussage haben, flach sind, uninteressante Komposition haben oder doch mal unscharf geworden sind.

Dann nehme ich mir etwas mehr Zeit und sehe die verbleibenden Fotos durch, besonders die Motiv-Duplikate, mit dem Ziel, je Motiv nur 1, max. 2 Exemplare zu behalten. Die interessantesten "Duplikate" markiere ich, alle anderen kommen weg.

Erst dann fange ich mit der Nachbearbeitung der markierten Duplikate an. Dabei stellt sich dann schnell heraus, welches Fotos wirklich was wird und welche weg kommen.

Mein Ziel ist es, dass ich soweit als möglich nur Fotos behalte, die entweder eine sehr persönliche Erinnerung sind, aber keine Massenware gleicher Motive, oder Fotos, die es wert sind gedruckt zu werden und die ich anderen zeigen kann und positive Kommentare erhalte.

Im Endeffekt habe ich zur Zeit nach 20 Jahren digitaler Fotografie "nur" rd 8000 Fotos in LRC und rd. 2000 Allerwelts-Fotos für Grüße aus dem Urlaub u.dgl. in der Amazon-Cloud.

 

[jk350]

Wenn du 1000 Bilder pro Tag sichtest ist das Jahr auch vorbei.

 

[Mister79]

Parallel kann man ja auch einen anderen nehmen. Gibt ja wie Sand am Meer solche Tools. In der Tat und auch in anderen Threads schon oft angemerkt, auch von Leuten die einen Wechsel von Windows zum Mac hinlegen, der Finder könnte mal überarbeitet werden. Kann viel, macht viel aber dennoch wäre ein aufhübschen und erweitern von Funktionen mal angebracht. Selbst MS hat es mit Windows 11 dann geschafft den Explorer mal grundlegend zu überarbeiten, was man mit TABs und Co. als grundlegend beschreiben kann. Im Kern wird es wohl immer noch der Windows 95 Explorer sein.

Dann nimmt man halt einen Dateimanager von einem anderen Hersteller und ab gehts. Oder man macht es etwas professioneller und holt sich eine NAS und lässt die das erledigen. Synology hat da schöne Systeme und die kann ja werkeln bis der Arzt kommt, wenn die Daten einmal drüben sind. Selbst die Software von denen bekommt das mehr als ausreichend ausgeführt.

 

[mcmrks]

Ich fotografiere seit Jahrzehnten, erst analog, dann Digital. Vielleicht kommt es daher von den analogen Zeiten, dass ich nicht auf Masse fotografiere und hoffe, dass was brauchbares dabei ist.

vollkommen richtig, so haben wir es auch im studium gelernt.
wer mit mittelformat unterwegs war und film wie fotos selbst entwickelt hat, denkt eben anders. allein die kosten für einen 6x6 rollfilm (12 aufnahmen) und das papier …

 

[jteschner]

ja, das ist schon klar.

Aber bei 300.000 Fotos ist das schon eher sowas wie "knipsen, speichern und nie mehr ansehen".

Ich fotografiere seit Jahrzehnten, erst analog, dann Digital. Vielleicht kommt es daher von den analogen Zeiten, dass ich nicht auf Masse fotografiere und hoffe, dass was brauchbares dabei ist. Ich behalte auch nicht erst mal alle Fotos in der Absicht, irgendwann später mal auszusortieren.

Ich lösche locker 80% oder mehr meiner Fotos wieder.

Nachdem ich die Fotos des Tages in LRC habe, scanne ich die durch und markiere erst mal diejenigen, die sofort weg kommen. Das sind die Fotos, die einfach keine Aussage haben, flach sind, uninteressante Komposition haben oder doch mal unscharf geworden sind.
...

Nachdem ich vor einigen Jahren gemerkt habe wieviel "Mist" sich ansammelt wenn man nicht aufpasst und wieviel Platz und Frustration es verursacht, sich den "Mist" auch noch anzuschauen, habe ich mal viel Zeit investiert, bin alles einmalig durchgegangen und habe radikal, aber nach gewissen Kriterien, seeeehr vieles einfach gelöscht und bleibendes neu sortiert. Damit habe ich meinen Bestand um rund 50% reduziert auf ca. 12000 Bilder. Und da ist immer noch genug überflüssiges bei - aber dann war es wenigstens sortiert.

Inzwischen fotografiere ich weniger und alles neue landet zunächst in der Fotos.app/iCloudFotos und wird regelmäßig von mir betrachtet, bewertet, gelöscht, bearbeitet, ...
Am Ende jeden Monats mache ich immer einen "Monatsabschluss":
Ich habe ein paar wenige intelligente Alben, die mir zeigen was ich im abgelaufenen Monat fotografiert habe, wo Schlagworte fehlen und welche Bilder noch nicht irgendwelchen Alben zugeordnet sind.
Da mache ich dann letzte Sichtungen, Korrekturen usw., exportiere diese Bilder, lasse die Dateinamen auf Grund von Exif-Daten ändern und verschiebe sie in meine Dateisystemstruktur nach Jahr/Monat.
Durch diesen Workflow, der zwar etwas Aufwand bedeutet, habe ich alles online in der Fotos.app und somit auf allen Geräten und zudem noch geräte- sowie toolunabhängig in einer Dateisystem-Struktur, die ein einfaches Backup ermöglicht und jederzeit ein Plattformwechsel zulässt.

Also durchaus ähnliche Vorgehensweise wie du sie hast.

Allerdings: 300000 Bilder möchte ich nicht initial sichten, bewerten, sortieren, .... müssen - da würde ich fast sagen: irgendwie archivieren und mit einem neuen Konzept neu starten.

 

[Deine Mudda]

In der Theorie ja.....
Ich gehe davon aus, dass die Routinen zur Ermittlung der Metadaten für sehr große Daten-Volumina nicht immer gut genug getestet sind. Eben, weil es sehr lange dauert, bis die Fehler auftauchen.

Nochmal: das ist Blödsinn.

Wir machen alle paar Wochen Software-Releases im TB-Bereich und bewegen da hundertausende von Dateien durchs Netzwerk.
Dabei hat in den letzten 15 Jahren nie(!) irgendein Filesystem irgendwelche Probleme bereitet.

Ich würde behaupten: es gibt kaum ein Stück Software, das so zuverlässig funktioniert, wie Dateisysteme (und so gut getestet ist).