An sich würde die funktionieren. macOS muss ja nur die GPU unterstützen und die ist bei den Custom Designs identisch (wenn dann nur etwas ab Werk höher getaktet). Evtl. vorhandene RGB Beleuchtung der Karten kannst du unter macOS natürlich nicht beeinflussen.
Bei deinen Anforderungen musst du aber definitiv nicht zur RX 5700 XT greifen, die RX 5500 XT reicht für Bildbearbeitung völlig. Da müsstest du schon sehr große Stapel Bilder am Stück mit entsprechend Filtern etc. verarbeiten um einen großen Unterschied zu merken.
Aus bisheriger Erfahrung (nicht mit der 5500 XT aber anderen GPUs) kann ich die Sapphire Nitro oder Pulse Karten, sowie die Asus Strix Modelle empfehlen, was Lautstärke angeht. Also bspw. die hier:
https://www.alternate.de/SAPPHIRE/Radeon-RX-5500-XT-PULSE-8G-Grafikkarte/html/product/1599904?
https://www.alternate.de/ASUS/Radeo...X-GAMING-OC-Grafikkarte/html/product/1601729?
Vega ist die Architektur der AMD "High"-End Karten gewesen, bevor sie durch Navi (Radeon 5x00) abgelöst wurden. macOS unterstützt Navi erst seit 10.15.1, Vega schon seit dem Beginn des eGPU Supports in Mojave. Vega gibt's im normalen Handel als Vega 56 und Vega 64. Verglichen mit Navi fressen die aber deutlich mehr Strom, sprich werden auch heißer und damit lauter. Da du kein Anwendungsszenario hat, bei dem es auf Speicherbandbreite besonders ankommt (hier ist Vega dank HBM im Vorteil), macht Vega keinen Sinn für dich.
Bzgl. Gehäuse gibt Apple nur Empfehlungen bei denen sie "garantieren", dass das laufen soll. Es gibt aber auch genug andere Gehäuse, die macOS Support bieten. Eine gute Quelle für entsprechende Reviews (allerdings in Englisch) ist eGPU.io
Ich selbst hatte mal eine Asus Strix RX 5700 XT in einer Asus XG Station Pro im Einsatz am 2018er Mac Mini. Unter macOS einwandfreies Plug&Play. Karte und Gehäuse beide sehr, sehr leise, im Idle und bei geringer Last sogar komplett ohne Lüfter. Hab das Setup aber so nicht behalten, da für mich vor allem die Nutzung unter Windows (BootCamp) relevant war und das kann man leider echt vergessen bzw. nur mit Gefrickel ans laufen bekommen.
Für den Mini kann ich die XG Station Pro aber sehr empfehlen, da optisch passend und sehr leise. Für ein Notebook ist sie unpassend, da sie nur 15 Watt an den Mac liefern kann, aber beim Mini braucht man das ja nicht.
Ansonsten ist das Razer Core Gehäuse oft empfohlen, soll aber einen teils lästigen Netzteillüfter haben.