Mac Pro 7,1 NVMe RAID

[LuckyOldMan]

bei Alieexpress noch nie auf einem abgebuchten Betrag ohne Gegenleistung sitzen geblieben

Ich auch nicht, aber es gab vor 2 Jahren etliche Bestellungen, die nicht erfüllt, sondern stillschweigend ohne Angabe von Gründen storniert (cancelled) wurden - das Geld kam dann einige Zeit später, da ich immer PP als Käuferschutz im Spiel hatte.

In zwei Fällen war es so, dass kurz nach Bestellung & Bestätigung die Preise um 50% in die Höhe gingen, ich aber noch nichts erhalten hatte. Plötzlich konnte der Eine "mangels Ware" nicht liefern - der Andere kam dann nach und nach damit raus, dass er die Ware nicht mehr zum Bestellpreis liefern könnte.
Einen Fall bei AliExpres konnte ich nicht eröffnen, weil einfach der Kauf abgebrochen wurde.

Die Karte, die ich habe ...., unterstützt problemlos mehrere NVMe-SSDs im Raid.

Aber wie schaut es mit Mischbetrieb aus, z. Bsp. 2x Raid und dann 2x Einzel-NVMe-SSD? Oder alle als Einzel-NVMe-SSD?
Kann das die Karte verwalten?

 

[flyproductions]

der Andere kam dann nach und nach damit raus, dass er die Ware nicht mehr zum Bestellpreis liefern könnte.

Ja, das ist in der Tat ein nicht selten anzutreffendes Szenario. Genau das hatte ich bei der ersten Bestellung dieser Karte auch. Die sind wohl teilweise einfach „sehr mutig“ mit ihrer Preisgestaltung. Vielleicht ist das ja einfach der Preis, den man dafür zahlt, eine Karte, die sonst über 400 kostet, für knapp über 160 zu bekommen.

Ok, ich hatte das Glück, sie kurz danach bei einem anderen Händler nochmal fast zum gleichen Preis bestellen zu können und dann auch tatsächlich zu bekommen. danach lag sie dann lange weit über 200, wenn es sie überhaupt noch gab. Aber ansonsten hatte ich nicht den Eindruck, dass mir da – außer enttäuschter Vorfreude – irgendein Schaden entstanden wäre.

Aber wie schaut es mit Mischbetrieb aus, z. Bsp. 2x Raid und dann 2x Einzel-NVMe-SSD?

Genau die Konfiguration habe ich auf der Karte: 4 Blades, zwei davon im Raid 0, zwei davon einzeln. Läuft im Betrieb völlig unauffällig. Natürlich wird es Einschränkungen geben, wenn z. B. das Raid und eine Einzelplatte gleichzeitig voll gefordert werden. Das liegt daran, dass, zumindest im 5,1, ja schon das Raid den Bus sättigt. Aber das ist ja wohl auch ein sehr konstruiertes Szenario.

 

[eRacK]

Hmm, also, wenn sie mit mehr als einer NVMe nicht funktioniert haben, waren sie eben nicht wirklich Mac-kompatibel. Vermutlich Bifurcation.

Die Karte, die ich habe (und, die sich von der Verlinkten nur durch einen eine Generation älteren Controller-Chip unterscheidet), unterstützt problemlos mehrere NVMe-SSDs im Raid. Natürlich macht es für mich keinen Sinn, da mehr als zwei zusammenzufassen. Weil bereits die die verfügbare Bandbreite des x16 PCIe 2.0 des 5,1 auslasten. In einem 7,1 sollten da aber auch drei SSDs mit voller Leistung im Raid laufen.

Ich habe z.B. die Sonnet M.2 4x4 PCIe Card verwendet. Diese ist ja extra für den Mac Pro entworfen - an Bifurcation liegt es definitiv nicht. Wie bereits beschrieben, funktionieren ja auch alle von mir getesteten NVMe‘s und Adapter, auch mehr als eine Komponente, sofern die NVIDIA-Karte ausgebaut ist.

Problem liegt also im Zusammenspiel zwischen mehreren NVMe‘s und der Grafikkarte.

 

[flyproductions]

Problem liegt also im Zusammenspiel zwischen mehreren NVMe‘s und der Grafikkarte.

Hmm, das verstehe ich dann tatsächlich nicht. Also, dass egal welches Device auf einem PCIe das Verhalten eines anderen Devices auf einem anderen PCIe in irgendeiner Weise beeinflussen kann. Das würde ja voraussetzen, dass die Slots, wie im aktuellen Apple Silicon „Mac Pro“, zusammengefasst sind und sich die Bandbreite letztlich teilen. Das war aber doch beim 7,1 noch nicht der Fall, oder?

 

[eRacK]

Hmm, das verstehe ich dann tatsächlich nicht. Also, dass egal welches Device auf einem PCIe das Verhalten eines anderen Devices auf einem anderen PCIe in irgendeiner Weise beeinflussen kann. Das würde ja voraussetzen, dass die Slots, wie im aktuellen Apple Silicon „Mac Pro“, zu sasmmengefasst sind und sich die Bandbreite letztlich teilen. Das war aber doch beim 7,1 noch nicht der Fall, oder?

Ne, sollte nicht so sein.
Ja ich verstehe das ganze auch nicht …

 

[Macschrauber]

Ich hab schon ein Tool gesehen wo man den PCIe Bus organisieren kann, wie in grauer Vorzeit auf dem MP1,1

Da wird dann schon zusammengefasst.

 

[eRacK]

Bzgl. der Möglichkeiten und Limitierungen via PCIe fand ich diesen Artikel ganz hilfreich:

MP 7.1 Limits & Possibilities

Demnach sollte das bei mir eigentlich problemlos funktionieren.

 

[eRacK]

Und wenn ich mir diese Grafik anschaue, dann würde ich meinen, dass die Grafikkarte (Slot 3) keinen Einfluss auf die NVMe‘s nehmen dürfte, da sie sich nicht in der Poolverteilung befindet.

 

[flyproductions]

Und wenn ich mir diese Grafik anschaue, dann würde ich meinen, dass die Grafikkarte (Slot 3) keinen Einfluss auf die NVMe‘s nehmen dürfte, da sie sich nicht in der Poolverteilung befindet.

Nee, also da nach ganz sicher nicht! Das ist wirklich höchst mysteriös.

 

[eRacK]

So, heute nochmal den Sonnet Fusion Dual U.2 Adapter (x16) mit entsprechenden U.2 zu NVMe Gehäusen getestet. Hier startet der Mac mit verbauter RTX schon mit einer NVMe nicht mehr. Ohne die RTX laufen beide NVMe‘s natürlich problemlos. Poolbelegung auch hier irrelevant.

Werde die Tage mal noch eine Enterprise-SSD mit x8 Anbindung testen, und falls dies auch nicht läuft, muss ich mich eben mit einer NVMe zufrieden stellen.

 

[flyproductions]

So, heute nochmal den Sonnet Fusion Dual U.2 Adapter (x16) mit entsprechenden U.2 zu NVMe Gehäusen getestet. Hier startet der Mac mit verbauter RTX schon mit einer NVMe nicht mehr. Ohne die RTX laufen beide NVMe‘s natürlich problemlos. Poolbelegung auch hier irrelevant.

Werde die Tage mal noch eine Enterprise-SSD mit x8 Anbindung testen, und falls dies auch nicht läuft, muss ich mich eben mit einer NVMe zufrieden stellen.

Kann es sein, dass die RTX einfach zu viel Strom zieht? Kannst du das mal mit externer Stromversorgung für die Karte probieren?

 

[flyproductions]

Beim 5.1 nicht, aber beim 7.1 dann wieder?
Sieht hier doch ziemlich intern aus:

Anhang anzeigen 421981

Vielleicht ist das hier (unter besonderer Beachtung des ersten Satzes im ersten Beitrag! 😉) ja inzwischen irgendwie in OCLP integriert. Normalerweise wird im 5,1 jedenfalls alles, was nicht am Backplane-SATA hängt, als extern angesehen. Ich hab das damals noch manuell, so, wie unter dem Link beschrieben gemacht. Und mein internes mit Softraid erstelltes Raid 0 wird vom OS auch weiterhin als „extern“ betrachtet.

Ist aber weitestgehend Kosmetik. Sachen, die ein tatsächlich internes Laufwerk erfordern, funktionieren auch mit dem Hack nicht. Die Laufwerke werden also vom OS auch weiterhin nicht als „echte“ interne Laufwerke akzeptiert.

Edit: Ja, muss definitiv in OC/OCLP itegriert sein! Unter Monte hab ich diesen Hack noch nie manuell ausgeführt. Und trotzdem erscheint alles außer dem Raid als „intern“.

 

[eRacK]

Kann es sein, dass die RTX einfach zu viel Strom zieht? Kannst du das mal mit externer Stromversorgung für die Karte probieren?

Die Möglichkeit einer externen Stromversorgung habe ich leider nicht. Zu viel Strom kann ich mir auch nur schwer vorstellen. Die Karte hat eine maximale Aufnahme von 320W. Und die erreiche ich nicht mal in Benchmarks. Im Idle verbraucht sie um die 10-15W. MPX Module verbrauchen ja teilweise bis zu 500W.

Und das Netzteil hat eine Spitzenleistung von 1400W, konstant 1280W-1180W möglich.

Habe sonst auch „nur“ noch eine W6600X, den 8-Kerner, 96GB RAM und eine 2,5“ SATA SSD verbaut. Also was Stromverbrauch angeht weit vom Möglichen entfernt. (Zum Glück)

 

[flyproductions]

Die Möglichkeit einer externen Stromversorgung habe ich leider nicht. Zu viel Strom kann ich mir auch nur schwer vorstellen. Die Karte hat eine maximale Aufnahme von 320W. Und die erreiche ich nicht mal in Benchmarks. Im Idle verbraucht sie um die 10-15W. MPX Module verbrauchen ja teilweise bis zu 500W.

Gut, entscheidend wäre, was die Anschlüsse auf dem Mainboard liefern können ohne dass das in die Knie geht. Die Apple Module beziehen ihren Strom ja über die Steckplätze. Aber das kann es dann trotzdem nicht sein. Da sollte ja schon ein bißchen mehr rauskommen als beim 5,1.

Habe sonst auch „nur“ noch eine W6600X, den 8-Kerner, 96GB RAM und eine 2,5“ SATA SSD verbaut. Also was Stromverbrauch angeht weit vom Möglichen entfernt. (Zum Glück)

Ja, war auch nur so eine letzte Idee. Hab mir auch mal den Thread auf MR durchgelesen. Bei dem ging es ja wenigstens zum Schluss. Leider ohne dass eine wirklich plausible Ursache zutage getreten wäre. Schade, dass das bei dir nicht geklappt hat. Extrem merkwürdige Symptomatik!

Irgendwie werden Macs und NV-Karten wohl keine Freunde mehr. Aber seit M-1 2 3 ist das Thema ja eh durch! ☹️

 

[eRacK]

Gut, entscheidend wäre, was die Anschlüsse auf dem Mainboard liefern können ohne dass das in die Knie geht. Die Apple Module beziehen ihren Strom ja über die Steckplätze. Aber das kann es dann trotzdem nicht sein. Da sollte ja schon ein bißchen mehr rauskommen als beim 5,1.


Ja, war auch nur so eine letzte Idee. Hab mir auch mal den Thread auf MR durchgelesen. Bei dem ging es ja wenigstens zum Schluss. Leider ohne dass eine wirklich plausible Ursache zutage getreten wäre. Schade, dass das bei dir nicht geklappt hat. Extrem merkwürdige Symptomatik!

Irgendwie werden Macs und NV-Karten wohl keine Freunde mehr. Aber seit M-1 2 3 ist das Thema ja eh durch! ☹️

War ja auch keine schlechte Idee ^^
Die Slots selber stellen 75W zur Verfügung und dann gibt es noch 5 zusätzliche Anschlüsse die zusätzlich zum Slot Strom liefern, wenn nötig. 4 davon jeweils 150W. Beim 5. bin ich mir nicht sicher.

Ich nutze drei dieser Anschlüsse zur NVIDIA, wobei diese maximal 320W annimmt, da aktuelle Karten angeblich die 75W des Slots nicht mehr ziehen.

Noch verrückter: Gibt auf Reddit einen User der auch die RTX4080 verbaut hat und bei ihm funktionierten 2 NVMe‘s auf Anhieb …

Also, habe selber einige Jahre bei einem Apple Service Provider gearbeitet, auch Bereich der Technik, und bin nicht Unwissend, aber hier leg ich mir so langsam aber sicher die Karten … 😅

 

[flyproductions]

Die Slots selber stellen 75W zur Verfügung

Das macht ja theoretisch auch ein normaler PCIe. Wobei ich noch nie eine Karte gesehen habe, die tatsächlich mehr als 50 Watt über den Steckplatz gezogen hat. Seobst eine 1080 unter Vollast nicht.

Nein, ich meinte diese speziellen Steckplätze im 7,1. Die haben doch noch so einen zweiten Fuß, der doch nur zur Stromversorgung dient. Da sollte doch deutlich mehr rüber kommen, oder? Halt nur nicht für normale Karten.

und dann gibt es noch 5 zusätzliche Anschlüsse die zusätzlich zum Slot Strom liefern, wenn nötig. 4 davon jeweils 150W. Beim 5. bin ich mir nicht sicher.

Ist ja denn auch selbst pro Anschluss das Doppelte dessen, was im 5,1 bedenkenlos geht. Und dann 4 davon. Dasnn kann es am Strom definitiv nicht liegen!

Ich nutze drei dieser Anschlüsse zur NVIDIA, wobei diese maximal 320W annimmt, da aktuelle Karten angeblich die 75W des Slots nicht mehr ziehen.

Ja, wie gesagt: Selbst die alten Pascals 1070 und 1080 haben unter Vollast nie mehr als zwischen 30 und 50 Watt über den Steckplatz gezogen. Kann man sich ja mit Tools wie dem Hardwaremonitor oder iStat anschauen.

Noch verrückter: Gibt auf Reddit einen User der auch die RTX4080 verbaut hat und bei ihm funktionierten 2 NVMe‘s auf Anhieb …

Ja, krass! Da kann man dann wirklich suchen gehen! Dann kann es am speziellen Boarddesign der Karte liegen. Oder irgendwelchem Kram, den man installiert hat. Oder irgendeiner ganz speziellen SSD mit einer ganz spezielen Firmware. Die Möglichkeiten sind unendlich! 😂

Vielleicht kannste den ja mal kontaktieren und nach seinem ganz speziellen Setup fragen.

 

[Tzunami]

Da einer bei macrumors das selbe Problem mit einer 3080ti hat, wird es wohl nicht am Strom liegen.

https://forums.macrumors.com/threads/pcie-error-with-m2-ssd-and-nvidia-rtx-3080ti-fe-installed.2389792/

 

[eRacK]

Das macht ja theoretisch auch ein normaler PCIe. Wobei ich noch nie eine Karte gesehen habe, die tatsächlich mehr als 50 Watt über den Steckplatz gezogen hat. Seobst eine 1080 unter Vollast nicht.

Nein, ich meinte diese speziellen Steckplätze im 7,1. Die haben doch noch so einen zweiten Fuß, der doch nur zur Stromversorgung dient. Da sollte doch deutlich mehr rüber kommen, oder? Halt nur nicht für normale Karten.


Ist ja denn auch selbst pro Anschluss das Doppelte dessen, was im 5,1 bedenkenlos geht. Und dann 4 davon. Dasnn kann es am Strom definitiv nicht liegen!


Ja, wie gesagt: Selbst die alten Pascals 1070 und 1080 haben unter Vollast nie mehr als zwischen 30 und 50 Watt über den Steckplatz gezogen. Kann man sich ja mit Tools wie dem Hardwaremonitor oder iStat anschauen.


Ja, krass! Da kann man dann wirklich suchen gehen! Dann kann es am speziellen Boarddesign der Karte liegen. Oder irgendwelchem Kram, den man installiert hat. Oder irgendeiner ganz speziellen SSD mit einer ganz spezielen Firmware. Die Möglichkeiten sind unendlich! 😂

Vielleicht kannste den ja mal kontaktieren und nach seinem ganz speziellen Setup fragen.

Das Maximum, was ich der Karte bis jetzt abverlangt habe, waren 302W in einem Benchmark 😅

Ah, du meinst wahrscheinlich die zusätzlichen Verbindungen bei Slot 1 & 3 - die sind ausschließlich für die MPX Module um die maximalen 500W zu erreichen.

Habe den tatsächlich schon kontaktiert. Er nutzt zwei Crucial P3 in jeweils einem PCIe Adapter von OWC.

Ja, es sind echt zu viele Möglichkeiten… aber noch gebe ich nicht auf 😂 Die Tage kommt ne Enterprise SSD mit x8 Anbindung an, welche ich dann mal teste. Habe so langsam auch das Gefühl, dass es nicht an den NVMe‘s und deren Anzahl als solches liegt, sondern, dass der Mac bei mehr als 4 zusätzlich beanspruchten Lanes Probleme macht. Um das gesondert zu testen kann ich mir demnächst mal ne Afterburner Karte borgen.

Ach, und gestern nochmal einen Hardwaretest durchgeführt, welcher natürlich keine Defekte an der Hardware festgestellt hat.

Da einer bei macrumors das selbe Problem mit einer 3080ti hat, wird es wohl nicht am Strom liegen.

https://forums.macrumors.com/thread...d-and-nvidia-rtx-3080ti-fe-installed.2389792/

Genau den Beitrag hatte ich hier auch schon verlinkt. Seine Lösung sollte bei mir natürlich nicht funktionieren - war wohl schon zu siegessicher.

Dennoch Kurios, dass bei ihm die Poolverteilung Abhilfe geschafft hatte.

 

[eRacK]

So, heute testweise die Enterprise SSD mit 8 Lanes verbaut. Entgegen meiner Erwartung läuft diese auf Anhieb. Das vermutete „Lane-Problem“ besteht somit schon mal nicht.
Allerdings sind die Lese- und Schreibraten entgegen dem Datenblatt unterirdisch.
Somit leider kein Ersatz für eine herkömmliche NVMe.

 

[Tzunami]

So, heute testweise die Enterprise SSD mit 8 Lanes verbaut. Entgegen meiner Erwartung läuft diese auf Anhieb. Das vermutete „Lane-Problem“ besteht somit schon mal nicht.
Allerdings sind die Lese- und Schreibraten entgegen dem Datenblatt unterirdisch.
Somit leider kein Ersatz für eine herkömmliche NVMe.

Wie definierst du unterirdisch?