DABench-LLM: Benchmarking von Dataflow-Acceleratoren für LLM-Training

Die rasante Entwicklung großer Sprachmodelle hat die Leistungsfähigkeit traditioneller CPU- und GPU-Architekturen übertroffen, weil das Wachstum von Moore’s Law sich verlangsamt hat. Dataflow‑basierte KI‑Beschleuniger stellen eine vielversprechende Alternative dar, doch bislang fehlt eine tiefgehende Leistungsanalyse und ein einheitliches Benchmarking‑Framework für das Training von LLMs.

Mit DABench‑LLM präsentiert das Forschungsteam das erste Benchmarking‑Framework, das speziell für die Bewertung von LLM‑Workloads auf Dataflow‑Acceleratoren entwickelt wurde. Durch die Kombination von intra‑Chip‑Profiling und inter‑Chip‑Skalierbarkeitsanalyse ermöglicht DABench‑LLM eine umfassende Bewertung über zentrale Kennzahlen wie Ressourcenzuweisung, Lastverteilung und Ressourceneffizienz.

Das Tool unterstützt Forscher dabei, schnell Einblicke in die zugrunde liegenden Hardware‑ und Systemverhalten zu gewinnen und liefert gezielte Hinweise für Leistungsoptimierungen. DABench‑LLM wurde auf drei handelsüblichen Dataflow‑Acceleratoren – Cerebras WSE‑2, SambaNova RDU und Graphcore IPU – validiert. Die Ergebnisse zeigen, dass das Framework Engpässe aufdeckt und konkrete Optimierungsstrategien vorschlägt, wodurch seine Generalität und Effektivität über verschiedene AI‑Hardware‑Plattformen hinweg demonstriert wird.