KI News: Kurz und klar.

Spekulatives Decoding hat sich als wirkungsvolle Technik etabliert, um die Latenz und die Kosten von LLM‑Inference zu senken. Trotz dieser Fortschritte wurde die Energieeffizienz dieser Modelle bislang zu wenig untersucht.

Die Diffusion Policy (DP) hat sich als leistungsstarke Methode für die Steuerung von Robotern etabliert, leidet jedoch unter hoher Inferenzlatenz und hohem Rechenaufwand, weil sie mehrere iterative Denoising-Schritte benötigt. Für Aufgaben, bei denen die Komplexität sich im Zeitverlauf ändert, reicht ein statischer Ansatz nicht aus – er kann die dynamische Anpassung der Rechenleistung nicht gewährleisten.

Die steigende Nachfrage nach Aufgaben wie Code‑Generierung, tiefgreifendem Denken und dem Verständnis langer Dokumente hat die Langkontext‑Generierung zu einer Schlüsselkompetenz für große Sprachmodelle (LLMs) gemacht. Spekulatives Decoding, ein Ansatz, bei dem ein leichtgewichtiges Modell mehrere Token‑Kandidaten vorschlägt und ein Zielmodell diese prüft, gilt als besonders effizient. Doch mit zunehmender Kontextlänge wird die Verifikation zum Hauptengpass.

Spekulatives Decoding beschleunigt die Inferenz von Sprachmodellen, indem die Generierung in einen schnellen Entwurfs- und einen parallelen Verifikationsschritt aufgeteilt wird. Das größte Hindernis dabei ist das Misalignment zwischen Entwurfer und Verifikator, das die Akzeptanz von Tokens begrenzt und die Gesamteffektivität verringert.

Ein neues arXiv-Papier mit der Bezeichnung Nested-ReFT präsentiert einen innovativen Ansatz, um das Feintuning großer Sprachmodelle (LLMs) für anspruchsvolle Aufgaben wie mathematisches Denken deutlich effizienter zu gestalten. Der Kern der Methode liegt in der Kombination von Off‑Policy‑Reinforcement‑Learning und spekulativem Decoding, wodurch die Anzahl der erforderlichen Inferenzschritte während des Trainings drastisch reduziert wird.