cuPilot: Multi-Agent-Framework beschleunigt CUDA-Kernel-Optimierung um 3,09×
Die Optimierung von CUDA-Kernels bleibt ein komplexes und arbeitsintensives Unterfangen, das tiefgreifendes Wissen über Hardware‑Software‑Co‑Design erfordert. Trotz der jüngsten Fortschritte von großen Sprachmodellen (LLMs) in Kombination mit evolutionären Algorithmen stoßen bestehende Ansätze häufig an ihre Grenzen, weil die Agentenarchitektur und die Repräsentation der Evolution nicht optimal aufeinander abgestimmt sind.
Das neue Framework cuPilot löst dieses Problem, indem es „Strategie“ als semantische Zwischenschicht für die Kernel‑Evolution einführt. Durch einen strategisch koordinierten Evolutionsalgorithmus, roofline‑gesteuerte Prompting‑Methoden und eine strategiebasierte Populationsinitialisierung wird die Kommunikation zwischen den Agenten verbessert und die Suche nach effizienten Kernel‑Varianten beschleunigt.
Experimentelle Ergebnisse zeigen, dass cuPilot die generierten Kernels im Durchschnitt um 3,09 Mal schneller macht als PyTorch bei einem Benchmark aus 100 Kernels. Besonders bei GEMM‑Aufgaben demonstriert cuPilot ausgefeilte Optimierungen und erreicht eine hohe Auslastung der kritischen Hardware‑Einheiten. Alle erzeugten Kernels sind frei verfügbar unter https://github.com/champloo2878/cuPilot-Kernels.git.
Die Arbeit ist auf arXiv unter der Referenz arXiv:2512.16465v1 veröffentlicht und bietet damit einen wichtigen Beitrag zur automatisierten Hochleistungsprogrammierung auf GPUs.