SpecAttn: Schnellere LLM‑Inferenz mit sparsamer Attention und Selbst‑Spekulation

Die Inferenz von großen Sprachmodellen mit langen Kontexten ist heute Standard, doch sie wird stark durch die wachsenden Speicheranforderungen des KV‑Caches begrenzt. Forscher haben gezeigt, dass Selbst‑Spekulation in Kombination mit sparsamer Attention die Geschwindigkeit ohne Qualitätsverlust steigern kann, indem Tokens zunächst mit einem Teil des KV‑Caches entworfen und anschließend mit dem vollständigen Cache geprüft werden.

Der neue Ansatz SpecAttn geht einen Schritt weiter: Er nutzt die Verifikation selbst, um die kritischen KV‑Einträge zu identifizieren, und lädt nur diese Einträge für die nachfolgenden Draft‑Tokens. Dadurch sinkt die Auswahl‑Overhead erheblich und die Annahmequote der Draft‑Tokens steigt.

In Experimenten konnte SpecAttn die Durchsatzrate um 2,81‑fach im Vergleich zur herkömmlichen autoregressiven Decodierung erhöhen und übertrifft damit sogar die führenden sparsamen Selbst‑Spekulationsmethoden um 1,29‑fach. Diese Fortschritte markieren einen bedeutenden Schritt zur effizienteren Nutzung von LLM‑Modellen in realen Anwendungen.