KI News: Kurz und klar.

Die Skalierung großer Sprachmodelle hängt stark davon ab, wie effizient lange Kontexte verarbeitet werden können. Bei der autoregressiven Dekodierung dominiert die Attention den Rechenaufwand, weshalb sparsames Attention eine zentrale Rolle spielt. SOCKET, ein neuer Ansatz, nutzt eine „Soft Collision Kernel“ Technik, um die Auswahl relevanter Tokens bei der Inferenz zu optimieren.

In großen Sprachmodellen wächst der Key‑Value‑Cache (KV‑Cache) linear mit der Sequenzlänge und kann sogar mehr Speicher beanspruchen als die Modellgewichte selbst. Dieser Speicherengpass erschwert die effiziente Inferenz von LLMs.