CuTeGen: LLM-Framework zur automatischen Optimierung leistungsstarker GPU-Kernel

GPU‑Kernels bilden das Herz moderner Machine‑Learning‑Systeme, doch ihre effiziente Umsetzung bleibt ein komplexer, expertenintensiver Prozess. Der neue Ansatz CuTeGen nutzt große Sprachmodelle (LLMs), um diese Herausforderung zu adressieren und die Entwicklung von GPU‑Kernels zu automatisieren.

CuTeGen verfolgt einen agentischen, iterativen Workflow: Ein Kernel wird zunächst generiert, anschließend ausgeführt und getestet, und danach schrittweise verfeinert. Im Gegensatz zu Ein‑Shot‑Generierung oder umfangreichen Suchverfahren konzentriert sich das System auf die kontinuierliche Verbesserung eines einzelnen Kernels. Durch die Verwendung der CuTe‑Abstraktionsschicht werden wichtige Leistungsstrukturen wie Tiling und Datenbewegungen explizit dargestellt, was die Stabilität bei der iterativen Modifikation erhöht.

Zur Leistungssteigerung integriert CuTeGen gezielte Optimierungsaufforderungen, die auf die jeweilige Arbeitslast abgestimmt sind, und verzögert die Einbindung von Profiling‑Feedback. Diese Kombination ermöglicht eine strukturierte Fehlersuche und gezielte Optimierungsschritte, die den Kernel schrittweise an die Hardware‑Spezifika anpassen.

Experimentelle Tests bei Matrix‑Multiplikation und Aktivierungsaufgaben zeigen, dass CuTeGen funktional korrekte Kernels erzeugt und deren Performance mit optimierten Bibliotheksimplementierungen konkurrieren kann. Damit demonstriert das Framework, dass LLM‑basierte, agentische Ansätze eine vielversprechende Alternative zur manuellen GPU‑Kernel‑Entwicklung darstellen.