AccelOpt: Selbstverbesserndes LLM-System optimiert AI-Accelerator-Kerne autonom

AccelOpt ist ein neuartiges, selbstverbesserndes Sprachmodell, das ohne menschliche Expertise Kernels für moderne AI‑Acceleratoren optimiert. Durch iterative Generierung und ein lernendes Optimierungs‑Memory, das Erfahrungen aus früheren langsamen und schnellen Kernels sammelt, kann das System eigenständig die Leistungsgrenzen von Hardware wie dem AWS Trainium verschieben.

Zur Bewertung wurde NKIBench – ein neues Benchmark‑Set aus realen LLM‑Workloads – entwickelt. Es enthält Kernels unterschiedlicher Komplexität, die speziell für den Trainium‑Accelerator extrahiert wurden. AccelOpt nutzt diese Daten, um gezielt Verbesserungen zu identifizieren und umzusetzen.

Die Ergebnisse sind beeindruckend: Auf Trainium 1 steigt die durchschnittliche Spitzenleistung von 49 % auf 61 %, auf Trainium 2 von 45 % auf 59 %. Gleichzeitig bleibt das System kosteneffizient – mit Open‑Source‑Modellen erreicht es die gleichen Kernel‑Verbesserungen wie Claude Sonnet 4, jedoch 26‑mal günstiger.