On-Device AI bezeichnet die Ausführung von KI-Modellen direkt auf dem Endgerät (Smartphone, Tablet, PC, Smart Speaker, Wearable, Auto, IoT-Sensor) anstatt in einer Cloud- oder OnPrem-Umgebung. Die Inferenz findet lokal statt, häufig auf spezialisierten Beschleunigern wie Neural Processing Units (NPUs), Apple Neural Engine, Qualcomm Hexagon, Google Tensor, Microsoft NPU sowie GPUs und CPU-Erweiterungen wie ARM Cortex-A mit dot-product-Befehlen. Modelle werden meist quantisiert (8-bit oder 4-bit), beschnitten (Pruning) und in optimierten Formaten wie ONNX, CoreML, TensorFlow Lite, TensorFlow Lite for Microcontrollers oder LiteRT ausgeliefert.
Eingesetzt wird On-Device AI historisch für Spracherkennung (z. B. ‚Hey Siri', On-Device-Diktat), Bildverarbeitung in Kamera-Apps, Smart-Reply in Messengern, Autovervollständigung in Tastatur-Apps, On-Device-Übersetzung, Activity Recognition in Wearables, vorausschauende Wartung in Industrie-IoT, Spurführung in Fahrzeugen und jetzt zunehmend für kompakte LLMs auf PCs (Phi-Familie von Microsoft, Gemma von Google, Apple Intelligence Modelle). Apple Intelligence (ab iOS/macOS 18, 2024) und Microsoft Copilot+ PCs mit lokalen Sprach- und Vision-Modellen sind aktuelle Speerspitzen dieser Entwicklung.
Die Vorteile liegen in mehreren Dimensionen: Datenschutz (sensitive Daten verlassen das Gerät nicht), Latenz (keine Netzwerkrundläufe), Verfügbarkeit (auch offline), Kosten (keine Pro-Aufruf-Kosten in der Cloud) und ökologische Nachhaltigkeit (kein Datenverkehr für triviale Anfragen). Damit sind On-Device-Modelle besonders attraktiv für Gesundheits-, Finanz- und Compliance-relevante Anwendungen sowie für reaktionsschnelle UX-Funktionen wie Spracherkennung mit niedrigem Wake-Word-Delay. Gleichzeitig setzen sie strikte Limits bei Modellgröße, Energieverbrauch und Speicherbedarf.
Historisch ist On-Device-Inferenz älter als die generative KI-Welle: Bereits Apple A11 Bionic (2017) integrierte eine dedizierte Neural Engine, Google Pixel-Smartphones folgten mit ihrem Tensor-Chip ab 2021. Mit Microsofts Copilot+-PCs und der NPU-Spezifikation in Windows on ARM-Geräten (2024) ist On-Device AI auch auf Notebooks zum Standard-Hardwareelement geworden. Frameworks wie ONNX Runtime, MediaPipe, MLX (Apple, 2023) und LiteRT haben die Entwicklung deutlich vereinfacht.
Eingeführt und vorangetrieben wird On-Device AI gemeinsam von Hardware- und Software-Anbietern: Apple, Google, Microsoft, Qualcomm, Samsung, Huawei, ARM, NXP, NVIDIA Jetson und vielen Embedded-Plattformen.
Bei bluehands sehen wir On-Device AI als eine möglichkeit Standard KI-Anwendungen ökologisch, mit privacy und kostengünstig auszuführen. Gemeinsam mit der Schulstiftung Freiburg und Qualcomm konnten wir dies erfolgreich umsetzen. Mit Microsoft Foundry Local gibt es jetzt eine einfache Möglichkeit dies in die eigene Anwendungen zu integrieren.