K-Search: KI-gestützte GPU-Kernel-Optimierung mit ko-evolutionärem Weltmodell

Die Optimierung von GPU‑Kerneln ist ein entscheidender Faktor für die Leistungsfähigkeit moderner Machine‑Learning‑Systeme. Trotz zahlreicher automatisierter Ansätze bleibt die Aufgabe schwierig, weil viele Design‑Parameter miteinander verknüpft sind und sich die Hardware ständig weiterentwickelt. Traditionelle Verfahren nutzen große Sprachmodelle (LLMs) lediglich als stochastische Code‑Generatoren innerhalb heuristischer Evolutionsschleifen. Diese Methode stößt häufig an ihre Grenzen, wenn komplexe Kerne mehrstufige, koordinierte Transformationen erfordern, weil sie keine explizite Planungs‑ oder Fehler‑Erkennungsfunktion besitzen.

Mit K‑Search wird diese Lücke geschlossen. Das System kombiniert einen ko‑evolutionären Welt‑Modell‑Ansatz mit LLMs, um die Suche nach optimalen GPU‑Kerneln zu steuern. Dabei trennt K‑Search die hochrangige algorithmische Planung von der konkreten Code‑Instanziierung. Das Welt‑Modell lernt kontinuierlich aus den bisherigen Optimierungsschritten und liefert dem LLM gezielte Hinweise, welche strukturellen Änderungen sinnvoll sind. Dadurch kann das System nicht‑monotone Optimierungswege beschreiten und bleibt robust gegenüber vorübergehenden Implementierungsfehlern.

In umfangreichen Tests auf Kerneln aus FlashInfer – darunter GQA, MLA und besonders die komplexen MoE‑Kerne – übertrifft K‑Search den aktuellen Stand der Technik deutlich. Im Durchschnitt erzielt es eine 2,10‑fachere Performance, während bei MoE‑Kernen ein Gewinn von bis zu 14,3‑fach erreicht wird. Auf der GPUMode TriMul‑Aufgabe liefert K‑Search auf einer NVIDIA H100‑GPU eine Laufzeit von 1030 µs, was die bisherigen evolutionären Methoden deutlich übertrifft.

Diese Ergebnisse zeigen, dass K‑Search nicht nur die Effizienz von GPU‑Kerneln erheblich steigert, sondern auch einen neuen Ansatz für die KI‑gestützte Optimierung von Hochleistungs‑Rechenaufgaben darstellt. Die Kombination aus ko‑evolutionärem Lernen und LLM‑gestützter Planung eröffnet vielversprechende Perspektiven für zukünftige Machine‑Learning‑Systeme, die auf maximale Hardware‑Ausnutzung angewiesen sind.