Daten-Synchronisation mit einem Mac Mini "Server" und 3 Clients. Neue Strategie gesucht und bitte um Hilfe.

[lisanet]

Unabhängig davon wäre mir aber schon wichtig meine Hauptfragestellung zu diskutieren – ob die Idee wie ich sie habe gut umzusetzen ist?
Also quasi einen Mac im Netzwerk als "Dateiverteiler" zu haben, mit dessen Daten sich die Clients bidirektional synchronisieren.
Da Du @lisanet ja mega gut in dem Thema bist wie ich auch in meiner Recherche in anderen Chats gelesen habe würde mich auch Deine Meinung sehr interessieren.
Was hälst Du von meiner möglichen Herangehensweise?
Und sollte es sinnvoll sein – mit welchem Tool würdest Du es realisieren?
Ich bin noch auf zwei gekommen bei meiner Recherche die letzten Stunden:
• https://desairem.com/wordpress/synctime/
• https://www.resilio.com/sync-business/

Nun ja, bevor du immer Probleme hast mit Photoshop ist syncen natürlich eine Option.

Allerdings hat das mit dem syncen auch einen leider großen Fallstrick. Und zwar das Thema "bi-direktional". Eigentlich alle Tools werben damit, dass sie auch bi-direktional syncen, aber die wenigsten machen das auch. Wenn sie auf rsync basieren dann definitiv nicht.

Was ist dabei das Problem?

Bi-direktional ist kein Problem, wenn es um Dateien geht, die auf einer der beiden Seiten vorhanden sind und verändert werden. Das kann einfach über das Filedatum entschieden werden. Und mit einer Regelung kann man dann noch Konfikte anzeigen lassen, wenn beide Daten nach dem letzten Sync liegen. Wenn Dateien neu hinzukommen auf einer Seite geht das auch klar. Aber wenn auf einer Seite Dateien gelöscht werden, kriegt man das nicht mehr alleine durchs Dateidatum hin, da nicht mehr unterschieden werden kann, ob eine Datei auf einer Seite geändert/hinzugefügt wurde oder auf der anderen Seite gelöscht wurde, da ja bei einem gelöschten File kein Filedatum mehr vorliegt. Das geht nur mit einer "Buchführung" über Löschvorgänge. Die wenigsten Tools machen das aber.

Bei beiden Links kann ich diese Art der Buchführung nicht mit Sicherheit erkennen.

Edit:

Und wie @MichaEx schrieb, werden bei mehreren Clients, die bi-direktional syncen, die möglichen Probleme potenziert.

 

[b25]

Nun ja, bevor du immer Probleme hast mit Photoshop ist syncen natürlich eine Option.

Allerdings hat das mit dem syncen auch einen leider großen Fallstrick. Und zwar das Thema "bi-direktional". Eigentlich alle Tools werben damit, dass sie auch bi-direktional syncen, aber die wenigsten machen das auch. Wenn sie auf rsync basieren dann definitiv nicht.

Was ist dabei das Problem?

Bi-direktional ist kein Problem, wenn es um Dateien geht, die auf einer der beiden Seiten vorhanden sind und verändert werden. Das kann einfach über das Filedatum entschieden werden. Und mit einer Regelung kann man dann noch Konfikte anzeigen lassen, wenn beide Daten nach dem letzten Sync liegen. Wenn Dateien neu hinzukommen auf einer Seite geht das auch klar. Aber wenn auf einer Seite Dateien gelöscht werden, kriegt man das nicht mehr alleine durchs Dateidatum hin, da nicht mehr unterschieden werden kann, ob eine Datei auf einer Seite geändert/hinzugefügt wurde oder auf der anderen Seite gelöscht wurde, da ja bei einem gelöschten File kein Filedatum mehr vorliegt. Das geht nur mit einer "Buchführung" über Löschvorgänge. Die wenigsten Tools machen das aber.

Bei beiden Links kann ich diese Art der Buchführung nicht mit Sicherheit erkennen.

Edit:

Und wie @MichaEx schrieb, werden bei mehreren Clients, die bi-direktional syncen, die möglichen Probleme potenziert.

Danke Dir für Deine ausführliche Hilfe! Echt mega solche User hier zu haben!!!

Die Tools die ich angesprochen habe, haben alle ein Protokoll und auch kopieren sie Dokumente vor dem löschen in einen Archivordner, sodass man zur Not wenn was falsches gelöscht wurde es wieder herstellen kann.
Dazu läuft ja am Mac mini Server auch noch TimeMachine wo man auch eine Datei wiederherstellen könnte.

On Top machen wir noch mehrmals die Woche Backup auf externen HDS die über CCC gesichert werden und nach Backup ausgeworfen werden.


Sollte das nicht als Sicherheit vor Datenverlust reichen?
Oder bin ich hier aus Deiner Sicht zu Naiv?

Welche Strategie / Tools würdest Du unter der Prämisse am Mac bleiben zu wollen (alleine wegen Spotlight) vorschlagen?

 

[b25]

Danke für all Eure Antworten bisher.

Was würdet ihr mir also bislang empfehlen für die Zukunft?
Das weitere arbeiten mit den Adobe Apps direkt über die freigegebene Netzwerkplatte vom Mac mini scheidet aus meiner Sicht wegen der Probleme die Adobe Apps damit verursachen leider aus.
Eine große Lösung mit einer Dokumentensoftware sicherlich ebenso – das steht in keinem Verhältnis vom Aufwand / Kosten her.

Nochmal unser aktueller Workflow, weil ich denke es ist doch noch ganz wichtig hier ins Detail zu gehen:
• 3 Arbeitsplätze, 2x iMac, 1x MacBook
• Mac mini mit externer TB Platte auf der die Daten liegen
• diese Platte wurde bisher über die Freigabe am Mac mini für die 3 Clients freigegeben
• jeder Client mountet diese Platte übers Netzwerk und arbeitet direkt davon – überwiegend in Photoshop, InDesign und Illustrator
• wir sind eine ganz kleine Agentur und wir arbeiten mit kleinen Prospekten/Flyern etc. in InDesign oder Bildbearbeitungen von psds in Photoshop und dergleichen


Es muss doch hierfür eine Lösung geben, bei der die Festplatte lokal gespiegelt wird und wenn man die entsprechende InDesign Datei neu speichert dies im Hintergrund halt dann wieder synchronisiert wird? Oder wenn man eine Datei die man nicht mehr braucht löscht, dass diese auch dann eben auf der Platte am Mac mini gelöscht wird?
Dafür sind doch Tools wie ChronoSync oder Resilio Sync oder Synctime gebaut, oder nicht?
Das sind keine reinen Backup-Tools wie CCC oder ähnliche?
Wo übersehe ich hier die Höhe der Anforderung?
Was ratet ihr mir, damit ich mich nicht naiv ins Chaos stürze?

Ist wirklich Dateien manuell auf den Schreibtisch kopieren und wieder zurück kopieren die einzige Option neben einer für uns viel zu großen Dokumentensoftware?
Ich sehe hier nur Probleme – teilweise verwenden InDesign Dokumente Links die im Hauptkundenordner gespeichert sind.
Sprich man müsste sich ja jeweils nicht nur den Ordner mit dem Prospekt auf den Schreibtisch laden, sondern dann noch zig Links etc. dazu und dann alles wieder sauber zurück ersetzen ohne was zu löschen oder was zu vergessen? Das halte ich für mega aufwändig – da nehme ich ja fast noch lieber die aktuellen Probleme in Kauf :-(

Nutzt niemand die Syncfunktion einer der mir bislang genannten Sync-Software?
SyncTime hat meine Anforderungen zumindest so in der Beschreibung stehen wenn ich diesen Absatz nicht falsch interpretiere:
(https://desairem.com/wordpress/synctime-sync-types/)

Two-way sync​

Merge all the bases. On the first sync, all unique files are copied. Afterwards, files that are only on one side are copied or removed if they have been added or deleted after the last sync, respectively. If a file is modified (the modification date or file size has changed since the last sync), it overwrites the counterpart on the other side. If the same file has been modified on both sides, it is considered a conflict and an error is logged. The conflict can be solved by manually copying the file that you want to keep to the other side.

Resilio (https://help.resilio.com/hc/en-us/articles/205457775-Synchronization-Modes) schreibt folgendes:

Synced folders synchronize all of the content of the folder between the devices. All additions, deletions, and changes of the files in the folder will automatically be synced to all connected peers.

GoodSync (https://www.goodsync.com/features) folgendes:

Real-time and automated data replication for one-way or two-way synchronization across multiple destinations and platforms.

Wo ist hier mein Denkfehler, dass dies nicht so funktioniert?

 

[oneOeight]

Probier doch einfach mal eine aus, wie die sich im Workflow verhält.
Speziell der Worst Case.

Der SyncTime Autor scheint doch auch für Verbesserungen offen zu sein.

Muss der Sync wirklich two way sein?
Wenn die fertige Datei eh nur auf dem Mini sein soll, könnte doch der one way Modus von Synctime doch reichen.

 

[Mel Linus]

in der Theorie sollten alle hier aufgelisteten Apps problemlos Dateien von Client(s) zum Server (und zurück) synchronisieren können. In der Praxis wird euer Workflow / Disziplin darüber entscheiden, wie gut bzw. stabil das Ganze funktioniert.

Speziell mit dem File Lock Problem von Photoshop, denn auch hier wird erst synchronisiert bzw. "zurück auf den Server" gespeichert, wenn der Lock von Photoshop weg ist. Wenn ihr nicht (innerhalb kurzer Zeit) von mehreren Clients an denselben Dateien arbeitet sollte das kein Problem sein.

Bei den Links in InDesign bin ich mir auch nicht sicher, ob die noch so funktionieren, denn der Pfad ändert sich ja vom Server auf den jeweiligen lokalen Client.

Ich würde es auch einfach mal probieren. Ich hab persönlich gute Erfahrung mit Syncthing gemacht, allerdings für ein anderes Szenario (ein User - mehrere Geräte).

 

[lisanet]

Oder bin ich hier aus Deiner Sicht zu Naiv?

hhmm, naja, irgendwie schon.

Wenn auf einer Seite des Sync eine Datei geöscht wird und auf einer anderen Seite diese Datei eine Änderung seit dem letzten Sync erfahren hat, was soll da dann die Sync-Software machen, wenn sie das Datum des Löschens nicht kennt?

Nimmst du die Variante, dass das Löschen ignoriert wird, hast du zwar keine Datenverluste aber kannst auch keine Dateien mehr löschen. Nimmst du die Variante dem Löschen vorrang zu geben, verlierst du unter Umständen Änderungen.

Nun denke dir das mal mit mehreren Clients durch. Client A und B ändern die gleiche Datei. Welche der Versionen soll auf den server gesynct werden?

Ich kenne einen bösen Spruch "Syncen ist Client-Server für Arme".

Wie gesagt gehen tut es, aber es erfordert immer eine gehörige Portion Disziplin bei allen Beteiligten.

 

[oneOeight]

Würde sich bei dem Szenario nicht auch eher eine Versionierung eignen?

 

[V8-Driver]

Ist wirklich Dateien manuell auf den Schreibtisch kopieren und wieder zurück kopieren die einzige Option neben einer für uns viel zu großen Dokumentensoftware?

Ich benutze dazu die Synchronisierung von pCloud. Alle Dateien und Dokumente, die Du lokal bearbeitest, werden zeitecht in der Cloud gesichert:

https://www.pcloud.com/de/features/synchronization.html

Synchronisation​

Sobald Sie Ihre Dateien in pCloud hochgeladen haben, können Sie auf Ihrem Computer, Mobilgerät und über unsere Web-App immer auf die neueste Version zugreifen. Die Desktop-Anwendung - pCloud Drive verfügt außerdem über eine zusätzliche Option zur Dateisynchronisierung, mit der die lokalen Dateien mit pCloud Drive mit Ihrem Computer verbunden werden. pCloud unterstützt die Synchronisierung auf Blockebene, sodass Dateien noch schneller aktualisiert werden.

Vielleicht ist das was für euch.

 

[lisanet]

Wo ist hier mein Denkfehler, dass dies nicht so funktioniert?

Da muss bei dir kein Denkfehler liegen.

Es ist einzig und allein, was die jeweilige Software darunter versteht, wenn sie vom Thema syncen von Löschungen spricht. Ich kenne leider eingie Tools, die von bi-direktional sprechen und dann unter der Haube rsync verwenden, was aber einfach nicht das Problem des Löschens lösen kann.

SyncTime klingt zumindest gut, aber kann auch anders interpretiert werden. Stutzig macht mich halt, wenn von "source" und "destination" gesprochen wird und Optionen bestehen zu entscheiden, was mit "source" passieren soll, wenn auf dest ein File gelöscht wurde.

Ich habe mal vor etlichen Jahren ein Tool gefunden, dass eine Datenbank über den stauts der Files anlegt und so erkennen kann, auf welcher Seite ein File gelöscht wurde oder neu hinzugefügt wurde. Dort wird es aber explizit so beschrieben. -> https://csync.org/userguide/

Letztendlich kannst du es nur probieren.

 

[ruerueka]

@V8-Driver pCloud ist doch ein Anbieter für Online Speicher, oder? Da passt doch das ganze Konzept nicht zur Fragestellung.
Soll die Agentur alles auslagern um damit doch nur im Intranet zu arbeiten? Keine gute Idee, Stichworte Bandbreite, aber u.U. auch IT Sicherheit.
Und pCloud löst nicht das Grundproblem des Sync-Ansatzes: die Merge-Konflikte. D.h. Anwender A und Anwender B arbeiten gleichzeitig lokal an einer Datei. Wer gewinnt? Es handelt sich hier ja wohl um eine Agentur, also Fotos und Filme. Bei Programmieren hat man dafür git oder Ähnliches, bei "Design Dokumenten", aber auch schon bei Office-Dokumenten ist das nicht so einfach lösbar (dafür gibt es dort ja extra "Collaboration"-Versionen von MS Office oder Softmaker Office). Also benötigst du etwas, was die Dateien sperrt, wenn du daran sitzt. Entweder eine funktionierende SMB Freigabe, oder eben eine Agentursoftware / ein DMS, das diesen Workflow unterstützt.

 

[virk]

- Wenn die drei Benutzer A, B und C immer nur ihre eigenen Projekte bearbeiten, könnte man sagen, daß die Daten auf den SSD der Benutzer governing sind und jeder einzelne auf den server synct. Dazu muss die Eingangsvoraussetzung gegeben sein und Benutzer B, der doch mal Daten von Benutzer A sehen will, muss sich vergegenwärtigen, daß auf dem "server" nicht unbedingt die aktuellen Daten stehen.
- Wenn jeder Nutzer alle Daten bearbeiten können muss, so ist es hier bei uns, hat sich für uns Deine/unsere Serverlösung (macmini mit Sierra-server) als die beste herausgestellt. Vor Jahren hatten wir es noch so, daß man "Disziplin" brauchte: Jemand monierte eine Datei für sich und änderte sie; ein anderer wusste von nix und hat diese auch geändert. Schon war scheiße. War dann (auch) so, daß man sich die Datei von einem server auf seinen lokalen Rechner holte.
- Irgendwann hatte ich dann gesagt, das ginge so nicht weiter: Dateien werden jetzt direkt auf dem server bearbeitet; wenn das irgendwo nicht klappt, erbitte ich Rückmeldung. Läuft bei uns fast 100%ig (gerade mal im server geguckt: "Aktiv seit: 444 Tage, 1 Stund, 56 Minuten"). Probleme machen ab und zu Pages und Numbers; man kann Dateien nicht mehr sichern. Und ab und zu gibt es dieses Theater mit Excel, wobei letzteres häufig eine unsichtbare Dateileiche (mit Punkt am Anfang) von Excel ist, die fälschlicherweise nicht gelöscht wurde.

Ich habe jetzt mit Adobe-Programmen nix am Hut, denke aber, daß das Problem doch bekannt sein muß. Wie machen das denn 80% der Agenturen?

 

[V8-Driver]

@ruerueka
Du hast das Prinzip von pCloud Sync nicht verstanden. Da wird nichts ausgelagert. Es wird mit dem Cloudspeicher synchronisiert. Du erstellst als bei jeder Datei etc. die Du lokal bearbeitest, in Echtzeit eine Sicherungskopie. Das war ja auch ein Teil seiner Frage:

Es muss doch hierfür eine Lösung geben, bei der die Festplatte lokal gespiegelt wird und wenn man die entsprechende InDesign Datei neu speichert dies im Hintergrund halt dann wieder synchronisiert wird? Oder wenn man eine Datei die man nicht mehr braucht löscht, dass diese auch dann eben auf der Platte am Mac mini gelöscht wird?
Dafür sind doch Tools wie ChronoSync oder Resilio Sync oder Synctime gebaut, oder nicht?
Das sind keine reinen Backup-Tools wie CCC oder ähnliche?
Wo übersehe ich hier die Höhe der Anforderung?
Was ratet ihr mir, damit ich mich nicht naiv ins Chaos stürze?

pCloud ist EINE von wohl vielen Möglichkeiten, Daten nicht lokal zu spiegeln- macht ja einheitlich keinen Sinn - sondern dezentral in einer Cloud.

 

[ruerueka]

Da wird nichts ausgelagert. Es wird mit dem Cloudspeicher synchronisiert

Das ist doch genau das Problem. Du hast dabei kein LOCK und damit das Szenario, das auch @virk eben beschrieben hat. Bei uns läuft das über einen Samba-Server (Synology NAS) ziemlich stabil, ca. 30 "Kreative", teils mit macOS, teils mit Windows unterwegs, in der Regel verwenden die Programme aus der Adobe Suite und MS Office / Microsoft 365.

 

[V8-Driver]

Du hast dabei kein LOCK

Die letzte bearbeitete und gespeicherte Version wird gespeichert. Was wollte man mehr?

 

[b25]

Puh ganz schön viel Input für mich

Folgendes zu den letzten Beiträgen:
• @oneOeight ich verstehe nicht wie der einfache Sync klappen soll? Wenn User A auf der Kundenplatte das Projekt Visitenkarte Huber bearbeitet und dann auf den Server per one-way synct und User B am nächsten Tage diese Visitenkarte braucht um weitere Visitenkarten zu erstellen hat er doch in seinem Datenstamm lokal nicht die neue Datei von gestern? Wie soll die da hin kommen wenn sein Rechner sich nicht automatisch die geänderte Datei holt?
• @ruerueka also eine Sperrung einer Datei (LOCK) brauchen wir sicher nicht. Wir sitzen in einem Büro und jeder hat seine Projekte – wenn einer dann von einem anderen übernehmen muss spricht man sich ab. Es kann faktisch nicht vorkommen, dass man zeitgleich das gleiche Projekt bearbeitet.
• @V8-Driver pCloud habe ich nicht verstanden? Ist auch nichts anderes als Dropbox, oder bin ich falsch?
• @ruerueka bei Eurem System verstehe ich nicht wie hier noch keine Probleme mit Phosotshop Daten aufgekommen sind? Das Internet ist voll davon und jeder hat hier Probleme PSDs auf Netzwerkvolumen zu bearbeiten – egal ob NAS oder Mac oder Windows Freigaben
• @Mel Linus der Pfad der Links sollte sich nicht ändern wenn die externe Platte gleich benannt ist bei jedem meine ich
• @lisanet welcher der genannten Tools (ChronoSync, SyncTime, resilio sync, GoodSync) wäre Dein Favorit? Findet man heraus welches auf dem nicht guten rsync basieren?


Bin noch immer etwas ratlos

 

[lisanet]

• @lisanet welcher der genannten Tools (ChronoSync, SyncTime, resilio sync, GoodSync) wäre Dein Favorit? Findet man heraus welches auf dem nicht guten rsync basieren?

ich würde SyncTime nehmen.

Und du musst es halt testen.

Ausgangsbasis: Lege lokal eine Datei A an, starte den Sync. Auf beiden Seiten muss die Datei sein.

a) Nun lösche direkt auf dem Server die Datei A und lege lokal eine weitere Datei B an. Starte den Sync. Was hast du nun? Nur noch B auf beiden Seiten oder A und B auf beiden Seiten.

b) gleiche Ausgangbasis. Doch dieses Mal ändere die Datei A lokal und lösche sie direkt auf dem Server. Erst jetzt starte den Sync. Was hast du? Die geänderte Datei A oder ist die Datei A auf beiden Seiten gelöscht?

Bei einem echten bi.direktionalen Sync müsstest du

bei a) nur noch B haben, da das Löschen nach dem letzten Sync erfolgte und keine Änderung an A nach dem letzten Sync erfolgte.

bei b) eine Konfliktmeldung kriegen, da A sowohl nach dem letzten Sync geändert als auch gelöscht wurde.

Edit:

Noch was: rsync ist ein echt geniales Tool. Es ist aber halt nicht zum bi-drektionalen Sync gemacht. rsync ist ein Backup-Tool. Und das kann es ausgesprochen gut, schnell und zuverlässig.

 

[drd[cc]]

Ich frag mal ganz ketzerisch -> hab ihr mal überlegt auf Windows umzusteigen?
Die genanten Lösungen klingen alle ein wenig nach rektaler Oralchirurgie.

Quasi dedizierte Windows-Arbeitsplätze, die via 10GB-Ethernet auf einem zentralen, SSD-bestückten SMB-NAS arbeiten?
Apple bietet für viele Use-Cases großartige Lösungen an, aber 0815-AdobeCS Host gehören da imho (leider nicht mehr) zu.

Wenn eine Plattform solch Workarounds für einen relativ trivialen Einsatzzweck erfordert, ist sie evtl. nicht mehr das beste Werkzeug für den Job.

 

[b25]

Ich frag mal ganz ketzerisch -> hab ihr mal überlegt auf Windows umzusteigen?
Die genanten Lösungen klingen alle ein wenig nach rektaler Oralchirurgie.

Quasi dedizierte Windows-Arbeitsplätze, die via 10GB-Ethernet auf einem zentralen, SSD-bestückten SMB-NAS arbeiten?
Apple bietet für viele Use-Cases großartige Lösungen an, aber 0815-AdobeCS Host gehören da imho (leider nicht mehr) zu.

Wenn eine Plattform solch Workarounds für einen relativ trivialen Einsatzzweck erfordert, ist sie evtl. nicht mehr das beste Werkzeug für den Job.

Es ist KEIN mac os only Problem.
Windows ist ganz genau so betroffen.
Im Gegenteil – AFP Mac Umgebungen laufen mit Adobe deutlich besser als über SMB bei Mac oder Windows.

 

[b25]

ich würde SyncTime nehmen.

Und du musst es halt testen.

Ausgangsbasis: Lege lokal eine Datei A an, starte den Sync. Auf beiden Seiten muss die Datei sein.

a) Nun lösche direkt auf dem Server die Datei A und lege lokal eine weitere Datei B an. Starte den Sync. Was hast du nun? Nur noch B auf beiden Seiten oder A und B auf beiden Seiten.

b) gleiche Ausgangbasis. Doch dieses Mal ändere die Datei A lokal und lösche sie direkt auf dem Server. Erst jetzt starte den Sync. Was hast du? Die geänderte Datei A oder ist die Datei A auf beiden Seiten gelöscht?

Bei einem echten bi.direktionalen Sync müsstest du

bei a) nur noch B haben, da das Löschen nach dem letzten Sync erfolgte und keine Änderung an A nach dem letzten Sync erfolgte.

bei b) eine Konfliktmeldung kriegen, da A sowohl nach dem letzten Sync geändert als auch gelöscht wurde.

Edit:

Noch was: rsync ist ein echt geniales Tool. Es ist aber halt nicht zum bi-drektionalen Sync gemacht. rsync ist ein Backup-Tool. Und das kann es ausgesprochen gut, schnell und zuverlässig.

Danke für die Ideen – aber eine Frage dazu:
der sync startet doch immer automatisch? Du schreibst als könnte / sollte man den manuell anstoßen?

 

[lisanet]

der sync startet doch immer automatisch?

Nee, auf den screenshots von SyncTime steht doch was von "Schedule". Zudem gibt es ein Play-Icon.