Triton-Kernel revolutioniert LLM-Inference: Portabilität und Effizienz auf GPU

Ein langjähriges Ziel von Industrie und Forschung ist es, eine LLM‑Inference-Plattform zu schaffen, die auf allen Hardware‑Architekturen einsetzbar ist, keine manuellen Low‑Level‑Optimierungen erfordert und gleichzeitig Spitzenleistung liefert. In dieser Arbeit wird gezeigt, dass genau das möglich ist.

Das Herzstück der Lösung ist ein hochmodernes, paged Attention‑Kernel, das ausschließlich mit der domänenspezifischen, just‑in‑time kompilierten Sprache Triton entwickelt wurde. Durch diese Kombination erreicht das Kernel die bestmögliche Performance auf NVIDIA‑ und AMD‑GPUs.

Die Autoren erläutern ihren Ansatz auf hoher Ebene, die wesentlichen algorithmischen und systemtechnischen Verbesserungen sowie die notwendige Parameter‑Auto‑Tuning‑Strategie. Durch die Integration in einen beliebten Inference‑Server konnte die Effizienz des generischen Triton‑Attention‑Kernels von lediglich 19,7 % des aktuellen Standes auf beeindruckende 105,9 % gesteigert werden.

Die Ergebnisse verdeutlichen, wie Open‑Source‑Domain‑Specific‑Languages genutzt werden können, um die Portabilität von Modellen über verschiedene GPU‑Hersteller hinweg zu ermöglichen und gleichzeitig die Leistungsgrenzen zu verschieben.