Die Treiber der RX580 an sich werden sicherlich lange im System, damit allein ist es aber nicht getan, denn wir brauchen nicht nur Treiber für die GPUs selbst sondern auch für die konkrete Konfiguration (heißt: cMP mit PC-Grafikkarte ohne EFI, die zudem ein deutlich anderes Port-Layout hat als alles was Apple nutzt).
Solche Konfigurationen muss Apple eben nicht unterstützten, das kann lange gut gehen, kann aber auch in die Hose gehen. Ähnlich wie ein Hackintosh.
Bei der RX580 bin ich ganz guter Dinge, da die ja auch im eGPU-Set eingesetzt wird. Bei anderen AMDs war es in der Vergangenheit schon weniger Erfolgreich (z.B. Cayman, Cape Verde und Hawaii-Chipsätze gingen einige Zeit und wurden dann fallen gelassen). Dass mal einzelne Ports nicht gehen kann durchaus vorkommen, insb. bei Grafikkarten die nicht das Referenzlayout nutzen.
Das Problem bei deiner GTX 980 ist kein grundsätzliches, sondern eben auf dein konkretes Modell beschränkt. Wie gesagt gehe ich davon aus, dass die Karte einfach schlecht geflasht wurde. Die notwendige Software wurde von netkas/MacVidCards entwickelt und auch nur die haben die volle Kontrolle darüber, andere Verkäufer bieten da nur minderwertige Kopien an.