A14 bionic, machine learning, neural engine, was ist das genau

[hilikus]

Guten Morgen,

Der neue A14 bionic wurde ja vorgestellt und die Fortschritte im machine learning wurden hervorgehoben.
Welche Anwendungen profitieren eigentlich von dieser neural engine und dem ganzen Kram? Oder handelt es sich dabei doch eher um Marketing Geblubber?

Dank euch.

 

[tocotronaut]

In dem clip dazu war z.b diese software zu sehen, die anhand der aufnahme eines tennisspiels die aufschlaggeschwindigkeit berechnet und eingeblendet hat.

objekterkennung ist also ein mögliches anwendungsszenario.
auch das überlegen eines avatars bei facetime könnte davon profitieren.

die anwendungen dafür werden schon kommen... so richtig greifen, was der chip macht wird der nutzer vermutlich nicht.

 

[Kaito]

Es gibt einige Use Cases die davon stark profitieren, aber davon ab ist es Marketinggeblubber.

Im Bereich Machine Learning gibt es mehrere Felder, zB Regression, Clustering, Klassifikation, Assoziationsregeln. Das Erkennen von Katzen auf Bildern ist beispielsweise eine Klassifikation. Hier kann ich jetzt ein ML/DL Modell trainieren und die Neural Engine führt dies dann aus. Eine schnöde CPU könnte das auch, aber halt ein bisschen langsamer.

Wenn du jetzt eine Einkaufslisten-App hast ist es relativ unwahrscheinlich, dass du so was brauchst. Außer du hast eine Foto-Funktion und bringt ein trainiertes Modell, um den fotografierten Gegenstand zu erkennen. Das wäre wieder ein Anwendungsfall. Also es ist schon eher speziell.

Wichtig anzumerken ist, dass das natürlich nur bei Berechnungen auf dem Gerät greift. Viele Apps aber senden Daten zur Auswertung an einen Server, was diverse Vorteile hat, wie zB. schnellere Hardware (auf Rechnern wird so was mit echten GPUs nochmal wesentlich schneller gemacht), einfache Aktualisierungen der Modelle (kein App Update nötig) und deutlich mehr Möglichkeiten bei den Modellen selbst (die Neural Engine nimmt nicht alles). Modelle können auch gigantisch groß sein, je nach Komplexität und ggf. nicht dafür geeignet sein sie überhaupt in der App zu haben. Die erwähnte Foto-Funktion würde in diese Kategorie fallen.

 

[tocotronaut]

Es passt zumindest in apples bemühungen, möglichst viel auf dem iphone zu erledigen.

 

[Kaito]

Ist mir persönlich auch deutlich lieber als auf die Verfügbarkeit einer Internetverbindung angewiesen zu sein. Aber man muss anerkennen, dass es diverse objektive Vorteile hat und je nach Problem auch notwendig ist.
Zudem kann ich mit solch einer Lösung meine Apps auf Android/iOS/etc gleichermaßen befeuern, bei der Neural Engine aber benötige ich Apple-spezifischen Code und ggf. Apple-spezifisches Training (was wiederum viel Geld kosten kann).

 

[wegus]

Es gibt unterschiedliche Arten von Algorithmen. Neuronale Netze nimmt man dann, wenn man unterschiedliche Dinge von einander abgrenzen will, die nicht so ganz klar unterscheidbar sind oder wenn man Ähnlichkeiten erkennen will, Häufigkeiten bei Zuordnungen ...

Das trifft also Bild Erkennung und Bearbeitung, Schrifterkennung, finden eines Optimums...

Gerade für AR ergeben sich da viele Möglichkeiten. Neuronale Netze brauchen aber nicht klassische CPUs sondern möglichst viele kleine Recheneinheiten. Deswegen nimmt man bei PCs gern die Grafikkarte um beuronale Netze rechnen zu lassen.

 

[Kontrapaganda]

Dabei handelt es sich im Prinzip um einen integrierten Coprozessor, dessen physikalischer und virtueller Befehlssatz (Microcode) für ML/DL optimiert sind vergleichbar mit einer GPU, die auch nur ein Coprozessor optimiert für Verktorberechnungen ist. Die CPU könnte das auch alles emulieren, aber es wäre extrem langsam und viel ineffizienter.

 

[Lor-Olli]

Gerade AR / VR profitieren überdurchschnittlich stark, auch kommt es hier auf die "Trainingsdaten" an. Es wäre also nicht verwunderlich wenn die im iPhone gesammelten Daten anonymisert gesammelt an Apple gesendet um dann verwendet werden um Trainingsdaten zu haben, das Feld lässt sich ja kaum vernünftig abgrenzen - die am häufigsten von den Usern genutzten Bereiche zu kennen hilft also bei der Entwicklung. (dauert aber wohl noch ein paar Jahre bis da mehr als "der IKEA-Katalog" ernsthaft läuft, also mehr als Spielerei ist)

 

[apvar]

Und auch bei der Fotographie sollte es helfen können. Eyetracking/Facetracking z.B. um den AF hinzubekommen. Also das man nicht nur eine eingebaute Motivklingel hat, sondern auch noch direkt scharf. Und bei der Belichtung, das der wichtigere Teil des Bildes korrekt belichtet wird.

 

[hilikus]

Es passt zumindest in apples bemühungen, möglichst viel auf dem iphone zu erledigen.

Das wäre schön. Wenn Siri auch offline funktionieren würde (natürlich ohne die online Funktionen), wäre das ein echter Gewinn imho.

Aber gut, derzeit sind die Anwendungen also noch dünn gesät. Apple scheint das ganze ja aber ziemlich zu pushen, allerdings ist noch offen wofür eigentlich? Auch AR wird ja seit Jahren von Apple gepflegt mit AR Kit, LIDAR und co. Nur so richtige Anwendungen zeichnen sich noch nicht ab.

 

[Kaito]

Siri fällt halt auch in die Kategorie viel zu groß und komplex zu sein, um lokal laufen zu können. Selbst wenn das aktuelle Siri irgendwann lokal laufen könnte, dann kann zeitgleich auf einer Serverfarm eine viel bessere Version laufen und die Leute werden garantiert eher diese verwenden.

 

[Lor-Olli]

Einen ganz guten Eindruck in welche Richtung die Entwicklung geht bekommt man im Artikel > "Künstliche Intelligenz - 3D Brille für den Computer" im aktuellen Spektrum der Wissenschaft (10/2020).

Durch zwei neu entwicklete Algorithmen (der Rechner sucht dannnicht mehr stupide / blind sondern gezielt) erreicht man in nichtplanaren Umgebungen (freie Körper im Raum) eine Effizienzsteigerung um den Faktor 100 bei der Analyse der Daten. Nimmt man gleichzeitig die Leistungsentwicklung der Smartphones sind das schon beeindruckende Aussichten. Derzeit ist es noch zu früh für die smartphones, aber auch dort wird es eine rapide Entwicklung diesbezüglich geben, google, Apple und andere große Smartphoneentwickler forschen da sehr intensiv, die bionic chips sind der Anfang.

 

[Kaito]

Hardware uns Software sind bei solchen Dingen immer gegenseitig abhängig. Fancy ML/DL Software kann man erst machen, wenn es die dafür notwendige Hardware gibt. Aber wer baut oder kauft die Hardware, wenn es keine Software dafür gibt? Siehe VR.
Die super natürlichen Abwendung kommen erst noch und werden auch ganz andere Hardware bedingen, als das was wir heute haben. Aber wir sind auf dem Weg da hin.

 

[picollo]

Älterer Thread, aber doch interessant.
Zum M1: die Fotosoftware DxO PhotoLab 5 nutzt Apple Neural Engine für die DeepPrime Entrauschung der High-ISO Aufnahmen und nicht die GPU. Das kann man zwar umkonfigurieren, aber etwas schneller geht es halt mit der Neural Engine.