Es gibt einige Use Cases die davon stark profitieren, aber davon ab ist es Marketinggeblubber.
Im Bereich Machine Learning gibt es mehrere Felder, zB Regression, Clustering, Klassifikation, Assoziationsregeln. Das Erkennen von Katzen auf Bildern ist beispielsweise eine Klassifikation. Hier kann ich jetzt ein ML/DL Modell trainieren und die Neural Engine führt dies dann aus. Eine schnöde CPU könnte das auch, aber halt ein bisschen langsamer.
Wenn du jetzt eine Einkaufslisten-App hast ist es relativ unwahrscheinlich, dass du so was brauchst. Außer du hast eine Foto-Funktion und bringt ein trainiertes Modell, um den fotografierten Gegenstand zu erkennen. Das wäre wieder ein Anwendungsfall. Also es ist schon eher speziell.
Wichtig anzumerken ist, dass das natürlich nur bei Berechnungen auf dem Gerät greift. Viele Apps aber senden Daten zur Auswertung an einen Server, was diverse Vorteile hat, wie zB. schnellere Hardware (auf Rechnern wird so was mit echten GPUs nochmal wesentlich schneller gemacht), einfache Aktualisierungen der Modelle (kein App Update nötig) und deutlich mehr Möglichkeiten bei den Modellen selbst (die Neural Engine nimmt nicht alles). Modelle können auch gigantisch groß sein, je nach Komplexität und ggf. nicht dafür geeignet sein sie überhaupt in der App zu haben. Die erwähnte Foto-Funktion würde in diese Kategorie fallen.