RooflineBench: Benchmark-Framework für On-Device LLMs mittels Roofline-Analyse

Die zunehmende Verlagerung von KI-Anwendungen auf lokale Geräte, insbesondere durch Small Language Models (SLMs), hat die Notwendigkeit für präzise Leistungscharakterisierungen auf ressourcenbeschränkten Edge-Hardwareplattformen deutlich erhöht.

In diesem Beitrag wird ein systematisches Framework vorgestellt, das auf dem Roofline-Modell basiert und architektonische Bausteine sowie Hardwarebeschränkungen über die Messgröße der operationalen Intensität (OI) zusammenführt. Durch die Definition eines Inferenzpotenzialbereichs wird die Relative Inference Potential-Metrik eingeführt, die Effizienzunterschiede zwischen Large Language Models (LLMs) auf derselben Hardwareplattform vergleichbar macht.

Eine umfangreiche empirische Analyse über verschiedene Rechenstufen hinweg zeigt, dass sowohl die Gesamtleistung als auch die OI stark von der Sequenzlänge abhängen. Gleichzeitig wird ein kritischer Rückgang der OI mit zunehmender Modelltiefe identifiziert. Darüber hinaus verdeutlichen die Ergebnisse einen Effizienzfallen, der durch die Heterogenität der Hardware entsteht, und demonstrieren, wie strukturelle Optimierungen – etwa Multi-head Latent Attention (M LA) – das latente Inferenzpotenzial auf unterschiedlichen Plattformen freisetzen können.

Diese Erkenntnisse liefern konkrete Handlungsempfehlungen für die Hardware‑Software‑Ko‑Design‑Strategie, um neuronale Strukturen besser an physikalische Beschränkungen von On‑Device‑Intelligenz anzupassen. Der zugehörige Code ist im Anhang C verfügbar.