SwizzlePerf: LLMs optimieren GPU-Kernel dank Hardware‑Bewusstsein

SwizzlePerf nutzt große Sprachmodelle (LLMs), um GPU‑Kernel‑Leistung gezielt zu verbessern. Im Gegensatz zu bisherigen Such‑Methoden, die lediglich die Laufzeit optimieren, berücksichtigt SwizzlePerf die spezifischen Speicherzugriffsmuster, Architekturdetails und Profiling‑Logs des jeweiligen Workloads. Dadurch kann das System softwareseitige Optimierungen erzeugen, die exakt auf die zugrunde liegende Hardware abgestimmt sind.

Ein Beispiel: Für einen klassischen GEMM‑Kernel erstellt SwizzlePerf in weniger als fünf Minuten das optimale Swizzling‑Pattern – ein Ergebnis, das bisher von erfahrenen Performance‑Ingenieuren erst zwei Wochen dauerte. Auf einer Testreihe aus zehn unterschiedlichen ML‑ und Wissenschaftskernen konnte SwizzlePerf bei neun dieser Kerne bis zu 2,06‑fach schnellere Ausführungen erzielen und die L2‑Hit‑Rate um 70 % steigern.

Dieses Vorgehen markiert den ersten Schritt in Richtung automatisierter, hardware‑bewusster LLM‑Agenten für die Performance‑Engineering‑Community. SwizzlePerf demonstriert, dass KI‑gestützte Optimierungen nicht nur schneller, sondern auch deutlich effizienter sein können, wenn sie die Hardwareeigenschaften aktiv einbeziehen.