Der Traum: 8 Platten in Raid 1+0 über Thunderbolt (2) selber bauen?..

[Kater Louis]

Hi Leute,

Sehr speziell. Mein neues 15'' MBPr ist so ein Segen- nur wie ich schon vorher wusste wird's für dicke Filmprojekte mit dem Speicherplatz Probleme geben. Ich war naiv und dachte da tut sich flux was- Der Markt gefällt mir gar nicht - Zu wenig für zu viel Geld, wobei ich es mir in der Theorie so einfach vorstelle. Hatte gedacht über USB3.0 würde es noch gut machbar sein. Aber verwöhnt davon, dass das MB quasi nichts unflüssig tut, ist der Geduldsfaden dermaßen dünn geworden -

Der Titel sagt alles.
Ich will mit normalen 3,5 Zoll SATA-3 Platten in einem Raid 0 Verbund ordentlich (4? Oder gleich 8?) Geschwindigkeit bekommen, diese dann vorsichtshalber noch einmal spiegeln, und den ganzen Käse über Thunderbolt 2 ins Mackenbuch schaufeln. Ich hab hier noch genug Tower, Netzteile usw. von vor vielen Monden rumstehen. In meinem Kopf muss es doch möglich sein sich so etwas selber zu bauen anstatt 2000+ Euro für ein Pegasus 2 auszugeben. Der Controller um auf Thunderbolt zu gehen ist dabei (in meinem Kopf) die einzige Sorge.

Wie falsch liege ich hier?
Erbarmt sich jemand mir und bestimmt auch vielen anderen Usern zu erklären was so geht und was nicht.


Vielen Dank!



Eschi



PS: (vorsicht, überspitzt semi-ernstgemeinte Ironie) Für die Google-Patroullien, die schon mit der Maus auf dem Weg zum Schnellantwortfeld sind und die linke Hand auf STRG+V im Anschlag haben. Ich finde via Suchmaschine keinen passenden Einstieg in das Thema und erdreiste es mir die Zeit für's Suchen damit zu verbringen den Sinn eines Forums zu gebrauchen um mit Menschen direkt über mein Problem zu reden. Nicht böse nehmen!

 

[Hotze]

Eigenbau Thunderbolt RAID? Man bekommt ja nicht mal Thunderbolt Karten zum nachrüsten eines MacPro. Du wirst da nix finden. Kannst aber gerne auf chinesischen Webseiten nach RAID-Controllern mit TB Anschluss suchen. Kuriositäten gibt's da immer.

Kauf Dir was vernünftiges mit Support und kein Eigenbau der nur Probleme macht. TB Hardware kostet nicht ohne Grund etwas mehr Geld.

 

[Kater Louis]

Danke schonmal für die fluxe Antwort!

Nunja- die USB3.0 Varianten sind Jetzt auch nicht so viel günstiger. Gibt es denn eine andere Schnittstelle, die ordentlich Geschwindigkeit zulässt? Das schöne ist an den Raid 0 Verbunden ja, dass man theoretisch mit genügend Platten mehrfache SSD-Geschwindigkeit bekommt.

Womit arbeiten denn die reichsten Vollpros? Da heute so viele Leute an Projekten mitwirken kann ich mir nur schwer vorstellen, dass jeder da seine fette Maschine mit 40TB Verbünden intern stehen hat.


E.

 

[Hotze]

SAN System mit 10 Gigabit und FibreChanel Anbindung. Am Rechner selbst TB RAID, SCSI Raid hab ich auch noch am laufen, FireWire,...Kommt eben drauf an. FibreChannel und SAS Systeme kosten weit mehr als TB.

PCIe Extander Karten und entsprechende Raids gibt's auch, aber auch außerhalb Deines Budgets. Für was brauchst Du das denn alles genau?

 

[bikkuri]

Wenn du schon so viel Zeug (Gehaeuse, Netzteile etc.) rumliegen hast, brauchst du doch nur einen Port-Multiplier. Der kostet um die 100 Euro.

Z.B. diesen hier: http://www.addonics.com/products/ad5hpmreu.php

Hat einen eigenen HW-RAID-Controller. Ich nutze den in einem Gehaeuse von Addonics nicht als RAID, sondern single volumes: zwei Snap-In 2,5- Wechselrahmen, ein 3,5-Wechselrahmen, ein BD-LW und ein Card-Reader. SSDs erreichen im single use um die 250 r/w.

 

[Kater Louis]

Ich studiere Kommunikationsdesign und mache ziemlich viel Film. Ich bearbeite keine 4k RAW Spielfilme, aber bei einem Making Of zu einem Kurzfilm mit über 13 Stunden und 1,1TB Material, das ich geshootet habe, mal ordentlich durchskimmen zu können oder wenigstens das Projekt unter ner viertel Stunde öffnen zu können wär schon nice- Waren jetzt böse Erfahrungen mit meinem MacBook Pro von 2009 über eine USB2.0-Festplatte. Ok.

Aber genau das "frustriert" ja so- die Hardware, die ich jetzt hab kann das ziemlich gut stemmen (jaja- auch wenn RAM zu wünschen übrig lässt und eine volle Graka schöner wär statt der Mobile Edition) - Den Luxus neben den Filmen aber ansonsten meine ganze Workstation in eine kompakte Schultertasche stopfen zu können will ich nicht missen- dann in Kombination mit dem (bald hoffentlich kommenden neuen) Cinema Display mit nur einem Kabel Anschluss einen Desktop draus machen zu können ist ein Traum.

Abgesehen davon, dass der Plattensalat nervt und man einfach nicht regelmäßig sichert ist es schade Hardware zu haben, die es packt, aber der Speicher- ne!


Es klingt aber danach als gäbe es keine günstigere Möglichkeit als eine der LaCie Lösungen zu nehmen- Oder was gibt es daneben noch? G-Power läuft mir oft über den Weg und von Pegasus brauchen wir nicht anfangen. - Wobei.. alles über 4 Slots ist ja wieder ein kleines Vermögen und die SATA3 "nur zu verdoppeln" mit einem 2er RAID0 Verbund ist das Geld dann auch nicht wert irgendwie...-

Mir fehlen (zumindest ausem Kopf) die absoluten Zahlen um das zu vergleichen. Und mal GB/s, mal Gbit/s verwirrt so hart-

explizit: ist USB3.0 immernoch langsamer ist als interne SATA3? Dann würde 4 Slots in RAID1+0 ja doch Sinn machen- nur weeeelcher Hersteller?

Und werden die Preise in ansehbar naher Zukunft merkbar fallen?
Kann man sich nur die Gehäuse holen und günstig geschossene Platten-Paare einbauen? Denn mein Eindruck ist mit einfach nur steigender Kapazität steigt der Preis unverhältnismäßig stark an..



So viel!


Aber danke



Eschi

 

[Kater Louis]

Hab ich wohl zu langsam geschrieben um auf den Post mit einzugehen :F

Wenn du schon so viel Zeug (Gehaeuse, Netzteile etc.) rumliegen hast, brauchst du doch nur einen Port-Multiplier. Der kostet um die 100 Euro.

Z.B. diesen hier: http://www.addonics.com/products/ad5hpmreu.php

Hat einen eigenen HW-RAID-Controller. Ich nutze den in einem Gehaeuse von Addonics nicht als RAID, sondern single volumes: zwei Snap-In 2,5- Wechselrahmen, ein 3,5-Wechselrahmen, ein BD-LW und ein Card-Reader. SSDs erreichen im single use um die 250 r/w.

Da bin ich ja trotzdem auf USB3 begrenzt oder verstehe ich da was falsch? So zumindest sieht die Hardware von dem Link aus. Da passen dann auch "nur" 5 Platten ran; großes RAID0 lohnt ja nicht weil USB3- Spiegeln ungerade fällt auch weg, also "nur" 4- Hmm.

Wenn ich schon nicht die Todes-Geschwindigkeit rausholen kann würde ich die Kiste gerne wenigstens mobil haben wollen.
Ich schließe gerade aber auch nicht aus dich falsch verstanden zu haben bikkuri;



Bis morgen Leute

 

[nuxli]

"Etwas" billiger wird es mit der ARECA Lösung. Das 8-Platten Thunderbolt RAID ARC-8050 kostet da "nur" 1200€ - ohne Platten, versteht sich. Mit 8 RAID-Platten je 150 € ist man dann bei 2400 €. Das ist zumindest etwas günstiger als die Pegasus Lösung.

Leider können die Thunderbolt Treiber von Linux nicht genug, sonst wäre ein Linux Rechner mit SATA Raid im "Target-Disk-Modus" vielleicht Mittel der Wahl... aber wie schon gesagt, Thunderbolt und Linux... das kann im wesentlichen mal nichts.

Da bleibt dann nur noch ein Linux RAID mit 10GBase-T Netzwerk und dann iSCSI auf der Mac Seite (sollte ohne Platten für 500 € machbar sein, inkl. 10GBase-T Karte, Switch kommt extra). Leider hat der Mac nur Gigabit-LAN und eine 10GBase-T Lösung für Thunderbolt von ATTO kostet allein schon 1000 €. Ähnlich sieht es aus bei FibreChannel. Auf der Linux Seite sind die FibreChannel-Karten von QLogic noch im erschwinglichen Bereich... aber eine entsprechende Anbindung an das MBPr schlägt direkt wieder mit 800 € zu Buche. Da kann man dann eben auch direkt zur Areca Lösung greifen, wenn man die Daten nicht mit anderen teilen muss.

Ich fürchte, billige Lösungen gibt es hier nicht. Irgendeine Kröte wirst du schlucken müssen. Wenn es Thunderbolt Geschwindigkeit sein soll, dann ist das sicher der Preis, denn unter 1000 € wird es ohne die Platten wohl nicht gehen.

 

[nym]

Möchte mich mal einklinken.

Wie ist es denn um NAS Systeme bestellt, die 2 Gigabit Ethernet Anschlüsse haben und welche nach 802.3ad erlauben.
Wäre es theoretisch möglich einen entsprechenden Level 2 Switch dazwischen zu schalten und dann am MacBook Pro die beiden Thunderbolt-Ports jeweils mit einem Gigabit-Ethernet Adapter zu versehen und diese zwei Gigabit Verbindungen auch am MacBook entsprechend zu aggregieren?

Liebe Grüße

 

[cifera]

… Waren jetzt böse Erfahrungen mit meinem MacBook Pro von 2009 über eine USB2.0-Festplatte. Ok …

Also wenn jetzt eine 20€ USB 2.0 Festplatte die Referenz ist dann sollte es auch ein kleines USB 3.0 RAID (wenn es unbedingt ein RAID sein soll) oder eben über Thunderbolt vollkommen reichen. USB 2.0 hat dir vielleicht 30 MB/s geboten, mit USB 3.0 kommst du schon auf bis zu 400 MB/s, mit Thunderbolt halt auf bis zu 1 GB/s, aber was du vorhast haben andere bestimmt vor dich schon mit FW800 und 80 MB/s geschafft …

Also nur weil der Traktor nicht schnell gefahren ist muss es ja nicht gleich ein F1-Wagen sein

 

[iSaint]

dich begrenzen doch eh die normalen HDD´s
im Raid 0 bekommste vll leseraten von knapp 200 MB´s was USB 3.0 locker packt
di günstigste Lösung wäre ne Gute USB 3.0 Platte mit 2-3 TB und das 2 mal
da bekommste leseraten von 120 MB´s oder etwas schneller und kommst zusammen für 300 Euro ans Ziel

 

[Kater Louis]

Also nur weil der Traktor nicht schnell gefahren ist muss es ja nicht gleich ein F1-Wagen sein

Aber ich kaufe mir ja keinen Ferrari um nur inner 30er Zone vor Schulen rumzugurken. Klar- das Making Of hab ich auch über USB2.0 hingekriegt. Aber mit einer Zeit, einem Frust...

Und RAID1 ist in sofern notwendig, dass ich von dem Plattensalat weg will. Hat man das Projekt jetzt schon gesichert oder nicht? War doch vorgestern erst, muss erstma reichen- obwohl, lieber neu, savety first. Also erstmal löschen und dann wieder kopieren. .. in meiner Gaming-Windows-Mopete habe ich ein RAID1+0 mit leider nur 4 500er Platten, ergo 1TB wo ich die wichtigsten Sachen zum Sichern hinleg. RAID1 ist komfortabel und sicher.

@iSaint:
Sorry, wir müssen wohl jetzt mal mit den ganzen Zahlen aufräumen.. SATA3 6Gbit/s Wie viel MB/s Lese- & Schreibgeschwindigkeit genau erreicht man damit? Ja wohl mehr als USB3.0 schleppen kann. Denn 200 wie du sagst kann ich mir nicht vorstellen, und ich werd noch verwirrter wenn aus 2 Platten laut dir dann 120MB/s werden :F


Ich freunde mich ja langsam damit an dick in eine Thunderbolt RAID Platte investieren zu müssen. Nur welche? G-Technology, LaCie & WD klingen aktuell am Gescheitesten. Jedoch sehe ich da nirgends eine Zusammenstellung mit 4 Slots für RAID1+0 - LaCie hat Bilder wo zwei LaCie2Big übereinander sind; könnte man etwa 2 Stück jeweils mit RAID0 belegen und unternander ein RAID1 draus machen?! - Hachherje


Too much!

 

[Lor-Olli]

USB3 hat die gleiche Problematik wie alle USB-Lösungen davor: der Overhead begrenzt den realen Durchsatz. Nominell 5GBit/s entsprächen 625 MByte/sec in der Realität kommen aber bei RaidLaufwerken, selbst bei "großen 8-Platten-Towern" nicht mal 400 MByte/s heraus, bei hohem Füllstand der Platten noch weniger. TB 1 schafft 10GBit/s theoretisch das wären 1,25 GByte/s - mit einem Rais aus SSDs schafft man real > 1GByte/s (durfte ich schon erleben ) bei TB2 verdoppelt sich der Durchsatz theoretisch, vermutlich auch praktisch, denn der Overhead, der USB ausbremst, wird bei Thunderbolt durch eigene, entsprechend flotte Controller berechnet.

So schön wie die "neue Welt" ist, so ist sie doch noch eine kleine exklusive Insel, der Eintritt kostet leider richtig Geld. Thunderbolt Geräte scheinen mir noch verdächtig selten zu sein, und das obwohl die Technik durchaus beherrschbar ist. Da bremsen wohl Lizenzrechte und -vergaben die schnelle Verbreitung - es wird hier erst mal der High-End-Markt abgeschöpft. Da aber immer mehr Hersteller TB auf ihren Boards platzieren wird der "Wunsch-Druck" zunehmen und es ist eine Frage der Zeit bis hier die Preise rutschen - derzeit sehe ich das aber erst mal nicht.

Eine grundsätzliche Überlegung: Wie groß sind die gößten Projekte die Du derzeit bearbeitest? Real 32GB? (wg. 8*4GB Raid…) Wenn es nämlich nur ums spätere sichern geht, kann das auch in der Nacht geschehen. Die Geschwindigkeit wird also vorrangig für die / das aktuelle Projekt benötigt. Macht es da nicht Sinn den schnellsten Speicher erst mal nur für diese Menge zu kalkulieren? Denn "Geld ohne Ende" scheinst Du nicht zu haben (aber wer heißt schon Lukas/Spielberg oder so? ), die Frage nach dem Raid würde sich sonst angesichts des Angebots eines großen Pegasus mit TB2 nicht stellen.

Solltest Du "in der Branche" bleiben wird es letztlich eh auf einen MacPro (oder eine genauso schnelle Alternative) hinaus laufen. Ein Bekannter (in einem Filmstudio in HH) schleppt testweise seinen nagelneuen MacPro mit herum - Displays gibts im Studio genug, zuhause ebenfalls. Auch für ihn privat stellt sich die Speicherfrage, im Studio haben sie kurzerhand 3 Pegasus gekauft… er zögert noch privat (der MacPro ist ja schon nicht umsonst………)

 

[v3nom]

Du könntest dir ein eSATA Raid aufbauen und dieses dann mit einem USB 3 -> eSATA Stecker oder einem Thunderbolt Dock verbinden. Ich bezweifel aber, dass du dann Transferraten über 300MB/s bekommen wirst.

 

[BSDheld]

Und RAID1 ist in sofern notwendig, dass ich von dem Plattensalat weg will. Hat man das Projekt jetzt schon gesichert oder nicht? War doch vorgestern erst, muss erstma reichen- obwohl, lieber neu, savety first. Also erstmal löschen und dann wieder kopieren. .. in meiner Gaming-Windows-Mopete habe ich ein RAID1+0 mit leider nur 4 500er Platten, ergo 1TB wo ich die wichtigsten Sachen zum Sichern hinleg. RAID1 ist komfortabel und sicher.

RAID1 ist keine Sicherung, es erhöht nur die Verfügbarkeit der Speicherlösung! Und Backups auf ein RAID1 zu machen, macht in meinen Augen auch keinen Sinn, dann lieber auf die einzelnen Platten sichern.

 

[davedevil]

Ein MBPr ist sicherlich kein Rechner für fette Filmprojekte. Eher fürs Sichten und Grobschnitt. Dein Problem ist Datenorganisation. Eigentlich solltest Du jeden Abend vorsichten und dann das Material grob schneiden, sodass Du am Ende nur die Kopierer behälst. Viele Menschen drehen im Zeitalterbder digitalen Technik einfach zuviel.

Außerdem finde ich es ehrlich gesagt mal wieder sehr belustigend, dass die Investition immer für einen schicken Mac reicht, nur nie für die professionellen Speicherlösungen. Muss auch echt kein 8 bay TB Raid sein. Aber für ein TB Display 4k scheinst Du ja auch Geld eingeplant zu haben.

Ein WD Raid ist sicherlich keine gute Lösung, ein Raid nutzt man ohnehin nur um Zeitverzögerungen in Projekten zu vermeiden, oder eben Platten im Verbund zu beschleunigen. Hier ist aber häufiges Sichern wichtig. Bei vielen Raids, Plattengehäusen hast Du immer das Problem des Controllers / Chipsatzes, die eher defekt gehen, als mal eben eine Platte. Dann bist Du eben oft angeschissen, weil Du plötzlich im anderen Gehäuse desselben Herstellers Deine Platten im schlimmsten Fall nicht mehr zum Laufen bringen kannst.

Überdenk Deinen Workflow, lerne Material zu löschen, lagere sonst auf einfache Platten über Nacht etc. aus und besorg Dir einfach ein kleineres Raid, wenn Du meinst so etwas zu brauchen.

Mit einer Workstation (non mac) hättest Du wohl mehr Budget für notwendige Hardware gehabt. Aber der Apfel lockt eben viele. Geld wird oft mit anderen Systemen verdient.

 

[davedevil]

Auch für ihn privat stellt sich die Speicherfrage, im Studio haben sie kurzerhand 3 Pegasus gekauft… er zögert noch privat (der MacPro ist ja schon nicht umsonst………)

Immer wieder schön. Für den MacPro langt es, aber für den Rest nicht. Entweder hat man da den falschen Geschäftsplan, oder man ist in der Branche falsch. Nicht gegen Deinen Freund, aber so lesen sich solche Anekdoten für mich immer.

 

[bikkuri]

...

...
Sorry, wir müssen wohl jetzt mal mit den ganzen Zahlen aufräumen.. SATA3 6Gbit/s Wie viel MB/s Lese- & Schreibgeschwindigkeit genau erreicht man damit? Ja wohl mehr als USB3.0 schleppen kann. Denn 200 wie du sagst kann ich mir nicht vorstellen, und ich werd noch verwirrter wenn aus 2 Platten laut dir dann 120MB/s werden :F
...

- Eine mechanische 3.5er-HDD schafft an einem SATA-3-Port um die 150MB/s (je nach Qualitaet und Art der Datenmenge), wohingegen eine gute 2.5-HDD bis zu 110 MB/s macht. D.h. also die HDD ist der Flaschenhals und nutzt nicht die ganze Bandbreite des SATA-III-Ports.

- Hingegen ein SSD kann die Geschwindigkeit des SATA-III-Ports ausreizen. Hier sind Transferraten bis ueber 500MB/s moeglich.

- Eine mechanische Festplatte via USB 3.0 kann seine Geschwindikeit voll ausnutzen. Schaltet man ein RAID-0 aus zwei dieser Platten, verdoppelt sich theoretisch die Geschwindigkeit, in der Realitaet liegt man so bei 250MB/s. Eine Erweiterung auf noch mehr Platten im RAID-Verbund steigert die Geschwindikeit nochmals, aber nicht proportional. Hier begrenzt dann USB 3.0 die Maxspeed.

- Mit Thunderbolt 1/2 wird die Limitierung weiter nach oben verschoben.

Ich freunde mich ja langsam damit an dick in eine Thunderbolt RAID Platte investieren zu müssen. Nur welche? G-Technology, LaCie & WD klingen aktuell am Gescheitesten. Jedoch sehe ich da nirgends eine Zusammenstellung mit 4 Slots für RAID1+0 - LaCie hat Bilder wo zwei LaCie2Big übereinander sind; könnte man etwa 2 Stück jeweils mit RAID0 belegen und unternander ein RAID1 draus machen?! - ...

Alle von dir genannten RAID-Arrays haben keinen Controller, sondern werden ueber das System zu einem Verbund zusammengefasst. Das hat den Nachteil, das du kein RAID-Monitoring hast und auf evtl. Probleme nicht (rechtzeitig) hingewiesen wirst.

Wie schon erwaehnt wurde, musst du, wenn du RAID-10 faehrst, die Daten trotzdem nochmal sichern. Zudem halte ich einen "Doppel-Software-Verbund" fuer riskant. Du wirst nicht gewarnt, wenn eine Platte ausfaellt und arbeitest damit u.U. wochenlang ohne es zu merken.

 

[davedevil]

Noch dazu. Ich kenne es so, dass bei externen Platten über USB 3.0 oder noch eSATA gesichert wird. Echtzeit ist ein Traum, aber schwer realisierbar bei all den Datenmengen. Für zuhause ist das aber schon Luxus, was heutzutage geht. Aber ohne Geduld wirst Du nicht weit kommen. Externe TB SSD Platten gibt es ja, nur das kostet eben.

 

[davedevil]

bikkuri

Die haben keinen Controller? Will man hier Ausfälle vermeiden, Inkompatibilität oder gar Kosten?