KI auf Macbook Pro trainieren

[rubeekon]

Lässt sich mit dem neuen MB Pro mit Apple M3 Max mit 16-Core CPU, 40-Core GPU, 16-Core Neural Engine, 128 GB RAM und 8 TB SSD eine KI trainieren?

 

[geWAPpnet]

Die Frage ist sehr unspezifisch. Ich vermute mal, mit KI meinst Du LLM. Aber meinst Du mit "trainieren" nicht eher betreiben? Ein LLM zu trainieren braucht Jahre und gigantische Datenmengen, die ja auch irgendwo herkommen müssen. Wenn Deine Frage aber eigentlich lautet, ob man eines der inzwischen zahlreichen freien Sprachmodelle auf so einem Mac betreiben kann, dann lautet die Antwort ja.

 

[Hotze]

Kommt auf die KI an und das gewünschte Ergebnis. Ja, machbar.

 

[rubeekon]

@geWAPpnet und @Hotze: Danke für die Hinweise. An sich meine ich trainieren. Aber mir wird klar: Die Frage ist insofern eher in Richtung KI-Modellentwicklung zu stellen. Die Idee war, mit einem neuen, "schlanken" Modell und beispielsweise Wikipedia, die es ja komplett als Kiwix-Datei gibt, als Trainingsdatensatz zu trainieren und zu betreiben, einfach mal testweise. Man arbeitet ja auf das One-Shot-Learning hin, das Lernen mit einem oder wenigen Beispielen, wie es eben Babies auch können ;-)

 

[geWAPpnet]

Wenn Du ohnehin ein eigenes Sprachmodell entwickeln willst und quasi bei null anfangen, dann verstehe ich Deine Frage nicht. OpenAI hat mit der Entwicklung von ChatGPT 2015 angefangen und wird da sicherlich noch nicht so viel Rechenpower zum Start gehabt haben. Also warum sollte die aktuelle Mac-Hardware für Dein Projekt nicht ausreichen?

 

[MilesVorkosigan]

Ich denke, so zum Spaß kann man das sicher mal ausprobieren. Für die Entwicklung eines echten Sprachmodells wirst du aber viel mehr Power und viel mehr Input brauchen. Wie viele Milliarden Tokens willst du denn verarbeiten? Das wird auf einem "kleinen" Rechner schon eine Herausforderung.

Und zum Thema "One Shot": Ob das bei den genannten Babies tatsächlich passiert, ist ja noch mehr als fraglich. Mit One Shots bekommst du eher Imitationen oder in deinem Beispiel eine Kopie des WP-Inhalts, aber kein neues Sprachmodell.

Interessantes Thema, über das man sicher noch viel sagen könnte. Spannend!

 

[rubeekon]

Es festigt sich der Eindruck: KI auf dem Mac derzeit mit vortrainierten KIs. Zu @MilesVorkosigan : One Shot ist vielleicht ein bischen wenig, aber wenige Eindrücke genügen. So einen Prozess stellt man erstaunlicherweise sogar bei GPT-4 fest. Und noch ein kleiner Witz dazu (Fundstück aus dem Internet):

 

[oneOeight]

Python? Check!
128GB RAM? Check!
Kann man, sogar große Modelle.

Aber nicht, dass da findige Chinesen jetzt auch nicht alles aufkaufen und die Chips auslöten, um die in KI Beschleunigern zu nutzen wie es gerade mit der Nvidia 4090 so passiert.

 

[geWAPpnet]

Python? Check!

Woher weißt Du, dass er sein völlig neues Sprachmodell in Python entwickeln will? Wenn er bei Null anfängt, kann er das genauso in Cobal, C oder Basic programmieren.

 

[oneOeight]

Woher weißt Du, dass er sein völlig neues Sprachmodell in Python entwickeln will?

Weil das im ML Bereich das hauptsächlich benutzte ist.

 

[MilesVorkosigan]

... Und noch ein kleiner Witz dazu (Fundstück aus dem Internet):

... genau, das ist ein gutes Beispiel für einen One Shot

Lernprozesse bei Babies funktionieren dann aber doch ein bisschen komplexer. Und Chat GPT4 hat natürlich auch ein "klein bisschen" mehr Unterbau, als eine neue, selbstgestrickte KI

 

[geWAPpnet]

Weil das im ML Bereich das hauptsächlich benutzte ist.

Wenn man das Rad schon neu erfinden will, warum dann nicht mal anders als die anderen?

 

[oneOeight]

Wenn man das Rad schon neu erfinden will, warum dann nicht mal anders als die anderen?

Viel Erfolg dabei, wenn du Cobol und Basic dafür versuchen willst.

 

[geWAPpnet]

Viel Erfolg dabei, wenn du Cobol und Basic dafür versuchen willst.

Natürlich meine ich das alles ironisch. Aber wäre doch eine interessante Herausforderung. Übrigens, zu meiner Studienzeit in den 90ern war noch Prolog die Sprache der Wahl für KI.

 

[lisanet]

Viel Erfolg dabei, wenn du Cobol und Basic dafür versuchen willst.

pytorch als sehr weit verbreitetes Framework in der KI-Programmierung bietet zwar ein Pyhton-API ist aber selbst nicht in Python geschrieben.

Insoweit haben sicher viele Programmierer Spaß daran andere Sprachen als Python zu verwenden. Auch für KI

 

[lisanet]

Zum Thema:

Stability AI bietet ja einige LLM an, u.a. auch welche, die geanu dazu vorgesehen sind, auf spezifische Szenarien trainiert zu werden. Da wrid man sicher fündig. Und so wie ich die bisherigen KI-Modelle von Stability AI kenne, werden auch solche LLM auf dem hier in Rede stehenden Mac laufen.

 

[wegus]

Python ist zwar weit verbreitet, aber es ist bei weitem nicht die schnellste Skriptsprache. Wenn schon der Rechner hier als kritisch hinterfragt wird würde ich ggf. eher erst gar nicht auf eine Skriptsprache gehen und wenn dann auf eine Schnellere.

Der Rechner selbst sollte locker für so etas ausreichen, ist ja die Frage wie groß das zu trainierende zu Grunde liegende Netz sein soll und was es leisten können soll. Die jetzt so gehypeten LLM sind ja nur eine KI Anwendung.

 

[geWAPpnet]

Stability AI bietet ja einige LLM an, u.a. auch welche, die geanu dazu vorgesehen sind, auf spezifische Szenarien trainiert zu werden. Da wrid man sicher fündig.

Er will ja gerade kein existierendes LLM, sondern ein eigenes neues entwickeln.

 

[Dextera]

Ich weiß ja nicht, das Vorhaben + der erste Post passen mir irgendwie schon hint und vorn nicht zusammen ...
Als würde ich einen neuen Impfstoff entwickeln wollen, und mich erstmal in nem Forum erkundigen ob ich mit nem 40x Mikroskop "Dinge" sehen kann

 

[wegus]

Ja mir scheint das auch noch arg unspezifisch zu sein. Eine "KI trainiern" ist nicht viel mehr als das hier (auch wenn es schon wieder Python ist):

https://blog.compaile.com/erste-eigene-ki-nur-15-zeilen-code/

Hier ist aber die Frage nach einem eigenen LLM und das stelle ich mir, wenn man es selbst entwickeln will, schon mal nicht so trivial vor.
Allein zu Google Bert sind mehrere Promotionen geschrieben worden um das hier auch umzusetzen: https://datascientest.com/de/bert