KI News: Kurz und klar.

In einer neuen Untersuchung wurde ein lernbasiertes Verfahren namens Speculative Importance Prediction (SIP) vorgestellt, das versucht, die Wichtigkeit einzelner Tokens im KV‑Cache vorherzusagen, um Speicherplatz effizienter zu nutzen. SIP nutzt 1,7 Millionen Parameter und arbeitet ohne Kenntnis der aktuellen Anfrage, indem es nur die KV‑Repräsentationen analysiert.

Reinforcement Learning (RL) hat sich als unverzichtbares Werkzeug etabliert, um komplexe Denkfähigkeiten in großen Sprachmodellen (LLMs) zu entfalten. Dabei wird bei langen Rollouts ein enormes KV‑Cache‑Speicherproblem erzeugt, das die effiziente Schulung auf begrenzter Hardware stark einschränkt.

Forscher haben eine neue Technik namens Min‑Seek vorgestellt, die die Genauigkeit großer Sprachmodelle bei komplexen Rechenaufgaben deutlich erhöht – und das ohne zusätzlichen Trainingsaufwand. Die Methode nutzt „sequential test‑time scaling“, bei dem Modelle dazu gebracht werden, länger zu denken. Bisher zeigte sich jedoch, dass ein zu langes Denken die Leistung verschlechtert und die Modelle instabil werden.

Große Sprachmodelle (LLMs) können ihre Denkfähigkeiten durch Test‑Time‑Scaling verbessern, indem sie mehrere Rechenpfade erzeugen. Doch die Kombination aus langen Argumentationsketten und mehrfacher Stichprobenwahl führt zu enormem Rechenaufwand und hoher End‑zu‑End‑Latenz. Frühere Ansätze zur Beschleunigung nutzten Ähnlichkeits‑ oder Vertrauens‑Pruning, die jedoch nicht zuverlässig die Qualität eines Pfades anzeigen.

Der Transformer bleibt das Herzstück moderner KI, doch sein klassisches Self‑Attention‑Modul ist wegen der quadratischen Skalierung bei langen Sequenzen stark begrenzt. TLinFormer, die neue Architektur aus dem neuesten arXiv‑Pape­rum, löst dieses Problem, indem sie die neuronalen Verbindungs­muster neu konfiguriert. Dadurch erreicht sie eine strenge lineare Komplexität, während die Attention‑Scores exakt berechnet werden und der Informationsfluss den gesamten historischen Kontext berücksichtigt.