RAID-Sicherung: geht das?

[Fotograf]

Ich habe durch Virenbefall (Windows) und Unbedachtheit schon Fotomaterial verloren, das nicht mehr zu reproduzieren ist. Da sind Plattencrashs und Hausabbrennen noch garnicht berücksichtigt. Ich möchte ein Sicherungskonzept, das weitgehend automatisiert ist, um Faulheit und Unachtsamkeit als Fehlerquellen von vorneherein auszuschließen. Die Kosten sind in der Tat zweitrangig - aber ich will auch nicht unnötig Geld zum Fenster rausschmeißen.

Mein gesamter Datenbestand liegt zur Zeit bei ca. 3 TB und steigt ca. 0,5-1 TB p.a. Es wäre praktisch, wenn ich das Material insgesamt verfügbar hätte.

Konzept:
Mac Pro, Systemplatte extern FW800 oder SSD,

4 * 1TB (WD RE3) mit drei Raid 0 Partitions wegen unterschiedlicher Read/Write-Performance im Rechner, davon 0,1 TB Scratchdisk, 1,9 TB aktuelle Daten und 1,9TB bestehende Daten.

Sicherung der bestehenden Daten zweifach (einmal im Haus, einmal im Bankschließfach, keine weiteren regelmäßigen Backups, da statisch)

Sicherung der aktuellen Daten dreifach, jeweils 2 * 1 TB Raid 0
2 Sicherungen im täglichen Wechsel, eine Kopie wöchentlich im Bankschließfach.

Spricht etwas dagegen, die Sicherungen inkrementell vorzunehmen? Ist Superduper oder CCC als Software ausreichend? Automatische Sicherung alle 24 h per Zeitplan?

Nehme ich ein System mit 4 Slots und wechsel die Platten? Ein Paar soll ja immer außer Haus sein. Oder lieber ein System mit 8 Slots und 2 freie Plätze für zukünftige Anforderungen.

Ich dachte zum Beispiel an ein Sonnet D400Q mit Sonnet Tempo Sata E4P. Das ließe sich für 1.400,- Euros realisieren. Sicherung mit 150MB/sek sollte zumindest inkrementell kein Problem darstellen. Problemlos erweiterbar um ein zweites D400Q (dann 2500,- Euro).

Deshalb meine Frage nach den ungefähren Gesamtkosten für ein HP-System mit 8 Platten.

 

[in2itiv]

Konzept:
Mac Pro, Systemplatte extern FW800 oder SSD,

4 * 1TB (WD RE3) mit drei Raid 0 Partitions wegen unterschiedlicher Read/Write-Performance im Rechner, davon 0,1 TB Scratchdisk, 1,9 TB aktuelle Daten und 1,9TB bestehende Daten.

...ich würde keine Scratch-partition auf die selben platten machen, auf denen gearbeitet wird. Das ist langsamer, als wenn du das weglässt und auf das eigentliche volume scratchst.

Systemvolume auf externes FW800 kann man machen, würde ich aber nicht, weil das den Rest dann doch hier und da ausbremsen kann.

Ich würde mir grundsätzlich für die Daten ein externes Raid 5 oder 6 zulegen. Da sind die Daten viel besser aufgehoben als auf einem Software-Raid ......... zumal mir schon viele von diesen Software-Raids "abgekackt" sind.

...ich sehe auch nicht, das du so hohe Schreib/Leseraten brauchst, die über ein raid0 zur verfügung stehen.

..."wichtige" Daten würde ich sowieso nie auf einem Raid0 speichern.

 

[Zapfenzieher]

Mein gesamter Datenbestand liegt zur Zeit bei ca. 3 TB und steigt ca. 0,5-1 TB p.a. Es wäre praktisch, wenn ich das Material insgesamt verfügbar hätte.

Genau, am besten plant man 4-6 Jahre im voraus. Es ist ja nicht so, dass man je Platten noch nachschieben könnte.

Oder willst du mit 8 Platten ein RAID 1 machen?

Systemplatte extern FW800 oder SSD,

Das ist Schwachsinn.

4 * 1TB (WD RE3) mit drei Raid 0 Partitions wegen unterschiedlicher Read/Write-Performance im Rechner, davon 0,1 TB Scratchdisk, 1,9 TB aktuelle Daten und 1,9TB bestehende Daten.

Diese Lösung wird extrem langsam werden. Es ist nicht der reine Datendurchsatz der dir hier die Performance vermasselt sondern die Plattensuchvorgänge. Wenn du nicht genau verstehst wie eine Festplatte und die ATA und SCSI-Protokolle funktionieren hälst du dich am besten an Standardlösungen die schon tausendfach erpropt sind und ensprechende Performance liefern. Wir haben teilweise Tage damit verbracht nur Platten und Raid-Konfigurationen von Datenbankservern zu optimieren. Man kann sich nicht in seiner Fantasie etwas zusammendichten wenn man nicht versteht wie etwas genau funktioniert. Schau dir mal die Whitepaper der RAID-Hersteller an. Die wissen selber oft nicht warum welche Lösung jetzt schneller ist.

Mach ein RAID 0 für das System und die Scratchdaten und ein RAID 1 mit deinen Daten.

Vom System kannst du ja ab und zu ein Image ziehen.

Auf einen Server kannst du dann die alten Daten legen und mit einem LTO-Laufwerk Backups machen.

Sicherung der bestehenden Daten zweifach (einmal im Haus, einmal im Bankschließfach, keine weiteren regelmäßigen Backups, da statisch)

Sicherung der aktuellen Daten dreifach, jeweils 2 * 1 TB Raid 0
2 Sicherungen im täglichen Wechsel, eine Kopie wöchentlich im Bankschließfach.

Du brauchst kein 3 Frickelbackups sonder einfach ein richtiges.
Einmal die alten Daten auf je 2 LTO-Bänder archivieren und an getrennten Orten lagern.

Nehme ich ein System mit 4 Slots und wechsel die Platten?

Die Plattenstecker werden das tägliche Rein-Raus wohl gerade etwa 2 Monate mitmachen, dann ist Schluss.

Deshalb meine Frage nach den ungefähren Gesamtkosten für ein HP-System mit 8 Platten.

10'008 Dollar ohne Software aber mit 460 GB Ultriumlaufwerk. Bei Bildern kommt man vielleicht auf ein 1.2 Komprimierung. Also wirst du auf ein Band etwas über 500 GB bringen.

 

[Krizzo]

Also wir in der Spedition machen tägliche Backups auf Band (ein Band für Kundendaten, Rechnungen etc. und eins für unsere Arbeiten), die Bänder kommen in einen feuerfesten Tresor und zusätzlich wird noch einmal die Woche gebackupt, kommt auch in den Tresor. Eine IT- Firma hat soweit ich weiß auch alle Backups nochmal.

Das ist alles andere als Kompliziert, aber sicher. Ich maße mir an zu sagen, dass wir ein vielfaches mehr Umsatz machen und die Daten somit wichtiger sind

 

[Fotograf]

Vielen Dank, aber Eure (zum Teil ziemlich überheblichen) Antworten strotzen nur so von Ungenauigkeiten, Fehlern und gehen nicht auf meine Fragen ein.

Ich zeige das mal anhand von ein paar Beispielen, denn es wird mir zu mühsam (übrigens, von diesen Kindergartenstil, den man in ganz verschiedenen deutschen Foren findet, wird man international zum Glück meistens verschont):

1. Systemplatte extern oder SSD sei Schwachsinn? Auf meinem Rechner läuft nur Photoshop, Phocus, DPP und Lightroom. Kein Mail, kein Webbrowser kein Word oder was auch immer. Von der Systemplatte wird grad mal Photoshop gelesen - sonst nichts. Wieso internen Plattenplatz verbrauchen, der ist begrenzt und wird für das wichtige (s.u., 2.) interne Raid 0 benötigt. SSD macht auch nur Sinn, wenn Photoshop in 3 statt 18 sek laden soll, beziehungsweise die Systemplatte unbedingt in den Rechner soll (Schacht für das 2. optische Laufwerk).

2. Die 4 internen Platten zu partitionieren und die Partitions jeweils zu Raid 0 zusammenzufassen macht sehr wohl Sinn! Warum?. Weil Photoshop entweder auf die Scratchdisk oder auf das Arbeitsvolumen zugreift, aber nicht gleichzeitig auf beide. Die wenigen Zugriffe auf die dritten Partitionen sind zu vernachlässigen. Nix langsam!!! Sauschnell, und mit einfachen Mitteln >400MB/sek write (für große Dateien) realisiert. Das einzige, was (Einkern-)Photoshop Beine macht.

3. Bänder? Urtrium-was?, LTO-wie? Hallo? Ich will das doch nicht hauptberuflich machen. Ich brauche das auf Kinder-Laien-Vorstands-Niveau.

Aber vielen Dank für den Hinweis Platten nicht dauern rein zu stecken und raus zu ziehen. Wird dann wohl doch ein 8- oder 10 Plattensystem.

Nichts für ungut, ich bin raus

 

[Technofrikus]

Wenn du dich noch in andern Foren rumtreibst, würde mich mal der Link zu den Threads interessieren. Weil finde das "Projekt" ganz spannend. Mal sehen was da raus kommt...

 

[rpoussin]

Wenn du dich noch in andern Foren rumtreibst, würde mich mal der Link zu den Threads interessieren. Weil finde das "Projekt" ganz spannend. Mal sehen was da raus kommt...

Imho: Ich finde das Projekt nicht spannend, sondern von Vornherein mit zuvielen möglichen Fehlerquellen behaftet. Es gibt für mich einen großen Unterschied zwischen Theorie & Labor und dem praktikablen Arbeiten.

4 Platten mit je drei Partitionen und Raidschaltung gehören für mich nicht zum störungsfreien Workflow.

 

[in2itiv]

[
4 Platten mit je drei Partitionen und Raidschaltung gehören für mich nicht zum störungsfreien Workflow.

....zumal dann auch noch als weiches Raid. Das schreit geradezu danach, das es dir um die ohren fliegt

 

[Zapfenzieher]

Nichts für ungut, ich bin raus

Jetzt bin ich wieder schuld.

 

[Zapfenzieher]

1. Systemplatte extern oder SSD sei Schwachsinn? Auf meinem Rechner läuft nur Photoshop, Phocus, DPP und Lightroom. Kein Mail, kein Webbrowser kein Word oder was auch immer. Von der Systemplatte wird grad mal Photoshop gelesen - sonst nichts. Wieso internen Plattenplatz verbrauchen, der ist begrenzt und wird für das wichtige (s.u., 2.) interne Raid 0 benötigt. SSD macht auch nur Sinn, wenn Photoshop in 3 statt 18 sek laden soll, beziehungsweise die Systemplatte unbedingt in den Rechner soll (Schacht für das 2. optische Laufwerk).

Es ist Schwachsinn das System und die Programme auf eine externe Festplatte zu packen, die anfällig gegen Erschütterungen und elektromagnetische Felder ist und zudem die CPU belastet um gigantische 0.5% internen Festplattenplatz zu sparen.

2. Die 4 internen Platten zu partitionieren und die Partitions jeweils zu Raid 0 zusammenzufassen macht sehr wohl Sinn! Warum?. Weil Photoshop entweder auf die Scratchdisk oder auf das Arbeitsvolumen zugreift, aber nicht gleichzeitig auf beide. Die wenigen Zugriffe auf die dritten Partitionen sind zu vernachlässigen. Nix langsam!!! Sauschnell, und mit einfachen Mitteln >400MB/sek write (für große Dateien) realisiert. Das einzige, was (Einkern-)Photoshop Beine macht.

Der Lesekopf wird sehr oft über die ganze Disk schwenken, um entweder das RAID 1 zu verifizieren oder um Zeit und Journaldaten upzudaten. Im dümmsten Fall ist der Cache der einen Festplatte mit Daten für das RAID 1 belegt und der Cache für die andere mit den Daten für das RAID 0. Kein RAID-Kontroller ist darauf ausgelegt solche extrem asymetrischen Konfigurationen effizient zu nutzen.

3. Bänder? Urtrium-was?, LTO-wie? Hallo? Ich will das doch nicht hauptberuflich machen. Ich brauche das auf Kinder-Laien-Vorstands-Niveau.

Das kann ich ja nicht riechen. Ich habe einmal für einen Fotographen gearbeitet der Sportfotos gemacht hat. Da war ein Foto mehrere hundert bis tausend Euro wert.

Aber vielen Dank für den Hinweis Platten nicht dauern rein zu stecken und raus zu ziehen. Wird dann wohl doch ein 8- oder 10 Plattensystem.

Bitte.

 

[babapapa]

Jetzt bin ich wieder schuld.

Bist du überhaupt nicht. Und auch kein Anderer.

@Fotograf
Bevor du dich an meiner Rechtschreibung oder Ausdrucksweise störst ("als" und "wie"; als Bayer und speziell als Franke darf ich das;-)), solltest du dich erst mal mit den ganzen Raid-Leveln nicht nur in der Theorie sondern auch mal in und mit der Praxis vertraut machen.
Du hast hier ja wohl einige konstruktive und praxisgerechte Lösungen bekommen. Nur kann keiner hier was dafür, wenn du die Zusammenhänge zwischen CPU, Transferraten, Festplatten und insbesondere Arrays und der damit verbundenen Problematik von Geschwindigkeit UND Datensicherheit nicht auf die Reihe bringst. Von Backup und Strategien dazu will ich jetzt erst mal gar nicht reden.
Daß, was du willst verstehen hier die meisten. Nur daß, was du suchst kriegst du hier nicht. Hier sind genügend Profis unterwegs, die ab einem gewissen Level mit ihrem KnowHow nicht rausrücken. Weil sie damit nämlich ihr Geld verdienen. Und auch auf dem Mac ist irgendwann einmal schluß mit lustig.

Du willst hier keine Hilfe haben, sondern suchst Lösungen und Support für lau. Wenn, wie du geschrieben hast, Geld für dich keine Rolle spielt, dann geh zu einem Profi, laß die einen Kostenvoranschlag machen und gut ist.
Es gibt genügend Lösungen die am Markt im Einsatz sind.

 

[in2itiv]

...zumal mich erst einmal grundsätzlich ein thema sehr irritiert, bei dem es um 50.000 bis 200.000 Photos geht, und zum einen nicht das wort "server" fällt und vor allen solche "Experimente" angedacht werden

 

[babapapa]

Klar - setz dem noch mehr Flöhe in den Pelz. ;-)

 

[Fotograf]

Muuuuahahahaha

Eh Jungs, ich kaufe im Jahr für ein paar Millionn Beratung ein, auch EDV-Beratung. Und ich schmeiße auch jedes Jahr eine ganze Menge Berater raus. Damit wollt Ihr Geld verdienen?

Experimente? Ihr glaubt doch nicht im Ernst, dass ich mir das partionierte Raid 0 das selber ausgedacht habe? Eine ganze Reihe namhafter Profis in den USA arbeiten so (klar, die hatten vorher professionelle Beratung)!

Ich sag es ja: Kindergarten

 

[in2itiv]

...jaja, solche "profis" kenn ich auch, die terrabyte-weise Daten auf nem Arbeitsplatzrechner liegen haben

 

[toto]

Ich habe durch Virenbefall (Windows) und Unbedachtheit schon Fotomaterial verloren, das nicht mehr zu reproduzieren ist.

Eh Jungs, ich kaufe im Jahr für ein paar Millionn Beratung ein, auch EDV-Beratung. Und ich schmeiße auch jedes Jahr eine ganze Menge Berater raus.

Ja, na dann noch viel Spaß mit den Beratern.

 

[rpoussin]

ZITAT:

Muuuuahahahaha

Eh Jungs, ich kaufe im Jahr für ein paar Millionn Beratung ein, auch EDV-Beratung. Und ich schmeiße auch jedes Jahr eine ganze Menge Berater raus. Damit wollt Ihr Geld verdienen?

Experimente? Ihr glaubt doch nicht im Ernst, dass ich mir das partionierte Raid 0 das selber ausgedacht habe? Eine ganze Reihe namhafter Profis in den USA arbeiten so (klar, die hatten vorher professionelle Beratung)!

Ich sag es ja: Kindergarten

-----------------------------------

Nun ja, die Sachlichkeit ist dahin, der TE entpuppt sich als beratungsallergisch und läßt uns als Kindergarten, den er allerdings nicht rausschmeißen kann, dastehen. Frohe Ostertage.

 

[babapapa]

Und ich schau mit jetzt bei ner Weißen und ´ner guten Brotzeit den Club an.

Schöne Feiertage.

@Fotograf: Grüße an die Amis - wir kaufen noch ;-))

 

[yankadi]

Nichts für ungut, ich bin raus

Tatsächlich?

Ich hatte heute nachmittag den Eindruck, du möchtest doch lieber per Beschimpfung die hiesigen Informationslieferanten zu weiteren Aussagen herausfordern.

Kann es sein...

Dass du der Berater bist,
Dein Konzept nicht von dir ist,
Und du jetzt sehr schwer schwitzt,
Weil dein Kunde dir im Nacken sitzt?

Manche Berater halten ihr Wort für eine Mischung aus "betrügen" und "verraten".

 

[Fotograf]

Sorry für die Verzögerung - war Popcorn holen

"Nichts für ungut, ich bin raus" Ich gebe zu, das war gelogen, ist einfach zu lustig hier !

Also schauen wir mal, war wir da so haben:

Einen Verschwörungstheoretiker:
"Kann es sein...

Dass du der Berater bist,
Dein Konzept nicht von dir ist,
Und du jetzt sehr schwer schwitzt,
Weil dein Kunde dir im Nacken sitzt"

Einen amerikafeindlichen Krisenverneiner:
"Grüße an die Amis - wir kaufen noch ;-)) "

Und einige verzweifelte Berater, die über Irreführung Ahnungsloser (damit meine ich mich selbst. Ich hätte nicht gedacht, das es so armselige Kreaturen gibt, die hier ködern, um Beratung zu verkaufen) ihre Überlegenheit präsentieren, weil Sie Ihr "Wissen" für wertvoll halten, aber kaum Geld damit verdienen?
"Daß, was du willst verstehen hier die meisten. Nur daß, was du suchst kriegst du hier nicht. Hier sind genügend Profis unterwegs, die ab einem gewissen Level mit ihrem KnowHow nicht rausrücken. Weil sie damit nämlich ihr Geld verdienen. Und auch auf dem Mac ist irgendwann einmal schluß mit lustig."

Schau, schau... War's das jetzt, oder bekomme ich noch ein lustiges Osterwochende ?