SOCKET: Soft Collision Kernel für sparsames Attention – Mehr Durchsatz

Die Skalierung großer Sprachmodelle hängt stark davon ab, wie effizient lange Kontexte verarbeitet werden können. Bei der autoregressiven Dekodierung dominiert die Attention den Rechenaufwand, weshalb sparsames Attention eine zentrale Rolle spielt. SOCKET, ein neuer Ansatz, nutzt eine „Soft Collision Kernel“ Technik, um die Auswahl relevanter Tokens bei der Inferenz zu optimieren.

Im Gegensatz zu herkömmlichen Hard‑Bucket‑Methoden, die nur diskrete Kollisionen erkennen, aggregiert SOCKET gradierte Kollisionsbeweise über mehrere Hash‑Tabellen hinweg. Dadurch bleibt die relative Reihenfolge der wichtigsten Tokens stabil, was die Rangfolge deutlich verbessert. Diese Veränderung verwandelt das bisher heuristische LSH in einen mathematisch fundierten Scoring‑Kernel, der ohne zusätzliche Abstimmungsmechanismen arbeitet.

Durch einen maßgeschneiderten CUDA‑Kernel für die Schlüsselbewertung und einen Flash‑Decode‑Triton‑Backend erreicht SOCKET bis zu 1,5‑fach höhere Durchsatzraten als FlashAttention. In mehreren Benchmarks mit langen Kontexten übertrifft SOCKET etablierte sparsames Attention‑Methoden und ist damit ein leistungsfähiges Werkzeug für die Inferenz großer Modelle. Der komplette Code ist frei verfügbar unter github.com/amarka8/SOCKET.