M1 & Python

[iDron]

Gut, vielleicht etwas schlecht formuliert, aber offen formuliert. Ja, ich habe grosse Datensaetze. Nicht aus ML. Aber vielleicht haben andere hier das ja.
Wie du schon sagst: Kleine Sachen kann jeder Rechner. Das interessiert aber doch keinen mehr.
Aber falls du was in diese Richtung weisst, freue mich gerne, mehr von dir zu lesen.

Und was die Diskussion von Python 2 oder 3 anbelangt. Verstehe ich nicht. Wir gehen doch mit der Zeit, also Python 3, installiert via Anaconda.

Was heisst denn gross? Und was hast du vor, mit den Daten zu machen?

Ich habe das M1 Pro MBP. Habe mit Keras/Tensorflow angefangen, Ensemble CNN Modelle mit meinen Labordatensaetzen aufzubauen. Daten sind mehrere tausend Messwerte von jeweils etwa 15 20x200 grossen Matrizen. Das Training der Modelle mit diesen Daten dauert unter einer Stunde. Dabei ist zu bemerken, dass ich die GPU nicht komplett ausnutze. Mein Datensatz ist einfach zu klein, um die Batch-Size so erhoehen zu koennen, dass man die gesamte GPU Power wirklich abrufen wuerde.

Deswegen waere meine Vermutung, wenn du nicht konkret rechenintensive Operationen im Auge hast, ist der M1 sehr wahrscheinlich ausreichend. Wenn man ernsthaft etwas entwickeln will, kann man natuerlich auch Gruende finden, ein M1 Pro MBP (groesserer/besserer Bildschirm, mehr Anschluesse, Rechenleistung) oder Mac Studio zu kaufen.

Ebenso sollte man aber beachten, dass viele Frameworks noch nicht fuer Apple silicon optimiert wurden und/oder die GPU nicht nutzen. Tensorflow hat jetzt eine Metal Version, die die GPU nutzt, aber es gibt Funktionen die dort noch nicht laufen. Bei PyTorch ist wohl etwas in der Planung. Andere Libraries wie etwa Numpy haben Nvidia-beschleunigte Geschwister (Cupy), was man auf Apple silicon bisher auch nicht findet.

 

[stepi0]

ML (pandas, numpy) in Kombination mit XAMPP (läuft unter Rosetta). Also SQL-Server mit 3-4GB Datenbank eben direkt auf dem Mini oder MPB.
Wenn die DB extern irgendwo liegt und ich das ganze für die Erkennung/Berechnung laufen lasse, passiert weiter nichts und er läuft entspannt vor sich hin.
Da kann ich nebenbei noch Musik hören etc...