MobileLLM-Flash: Schnelle, effiziente On-Device-LLMs für Industrie

Die Nachfrage nach Echtzeit‑KI‑Erlebnissen wächst rasant. Für mobile Geräte sind große Sprachmodelle (LLMs) jedoch besonders anspruchsvoll, weil sie auf begrenzten Ressourcen laufen müssen. Mit dem neuen Ansatz MobileLLM-Flash wird genau das möglich gemacht: On‑Device‑LLMs, die nicht nur in Echtzeit antworten, sondern auch auf Standard‑Mobile‑Runtimes wie Executorch ohne spezielle Kernel laufen.

Der Schlüssel liegt in einer hardware‑integrierten Architektursuche, die unter strengen Mobil‑Latenz‑Grenzen arbeitet. Dabei wird jedes Modell als abgespeckte Version eines vortrainierten Backbones betrachtet, wodurch die Gewichte übernommen und nur minimal nachtrainiert werden müssen. Diese Strategie spart Zeit und Ressourcen, während die Genauigkeit hoch bleibt.

Ein weiteres Highlight ist die „Attention‑Skipping“-Technik, die lange Kontexte beschleunigt, ohne die Modellqualität zu beeinträchtigen. Durch die gleichzeitige Optimierung von Architektur und Aufmerksamkeitsmuster entsteht ein Pareto‑Front, der die besten Kompromisse zwischen Latenz und Leistung liefert. Das Ergebnis ist eine Familie von Modellen – 350 M, 650 M und 1,4 B Parameter – die bis zu 8 k Token verarbeiten können.

MobileLLM-Flash bietet bis zu 1,8‑mal schnellere Vorlaufzeiten (Prefill) und 1,6‑mal schnellere Decodierung auf mobilen CPUs, während die Qualität gleich oder sogar besser als bei bestehenden Modellen bleibt. Die Analyse der Pareto‑Front liefert klare, umsetzbare Designprinzipien, die Entwicklern helfen, effiziente On‑Device‑LLMs für die Industrie zu bauen.