GPU-Kernel-Optimierung beschleunigt: DSL und Speed-of-Light-Steuerung

Die Optimierung von GPU‑Kernels mit großen Sprachmodellen (LLM) ist ein iterativer Prozess, bei dem jede Variante erzeugt, kompiliert, validiert und profiliert werden muss. Das bedeutet, dass jede zusätzliche Probe sowohl Laufzeit als auch Kosten erhöht. Ein effizienterer Ansatz ist daher dringend erforderlich.

Die Autoren identifizieren zwei zentrale Beobachtungen. Erstens spielt die Abstraktionsebene, auf der die Agenten arbeiten, eine entscheidende Rolle: Ist sie zu niedrig, verschwenden die Modelle ihre Rechenleistung mit Details, die kaum Einfluss haben; ist sie zu hoch, verpassen sie wichtige Optimierungsmöglichkeiten. Zweitens erkennen die Agenten kaum, wann sie das Sättigungsniveau erreicht haben, und setzen ihre Suche unnötig fort, was Ressourcen verschwendet.

Auf Basis dieser Erkenntnisse schlagen die Forscher zwei Designprinzipien vor. Erstens eine kompakte domänenspezifische Sprache (DSL), die im Kontext erlernbar ist und es dem Modell ermöglicht, auf höherer Ebene zu denken, ohne dabei wesentliche Optimierungsgriffe zu verlieren. Zweitens die Speed‑of‑Light (SOL)‑Guidance, die auf theoretischen Leistungsgrenzen basiert, um die Suche zu steuern, Ressourcen zu budgetieren und Probleme, die bereits nahe an der optimalen Leistung liegen, zu priorisieren.

Die Implementierung erfolgt in μCUTLASS, einer DSL mit einem Compiler für CUTLASS‑gestützte GPU‑Kernels, die Kernel‑Konfiguration, Epilogue‑Fusion und mehrstufige Pipelines abdeckt. SOL‑Guidance wird genutzt, um den Leistungsüberschuss abzuschätzen, Optimierungstests zu lenken, Aufgaben mit geringem Verbesserungspotenzial zu verschieben und Kernels zu kennzeichnen, die das Benchmark‑System ausnutzen.

In Experimenten mit 59 KernelBench‑Aufgaben zeigte sich, dass der Wechsel von niedrig‑leveligem Code zu DSL‑Code mit GPT‑5‑mini die durchschnittliche Geometrische Mittelwert‑Regression von 0,40x auf einen 1,27‑fachen Speed‑up gegenüber PyTorch verbesserte. Durch die zusätzliche SOL‑Guidance stieg die Performance auf 1,56×. In allen Modell‑Stufen ermöglicht die Kombination aus μCUTLASS und SOL‑Guidance eine deutlich effizientere GPU‑Kernel‑Optimierung.