KI News: Kurz und klar.

In der jüngsten Veröffentlichung auf arXiv wird gezeigt, dass die Optimierung von Sprachmodellen nach dem Training mit Verstärkungslernen (RL) stark von der Art der Wichtigkeitskorrektur abhängt. Traditionell wird ein token‑basiertes Importance‑Sampling‑Verhältnis verwendet, weil es einfach zu berechnen ist. Doch bei stark abweichenden Sampling‑ und Ziel‑Policys führt diese token‑weise Korrektur zu instabilen Trainingsverläufen.

In der Forschung zu großen Sprachmodellen (LLMs) gewinnen Agenten, die über lange Zeiträume mit ihrer Umgebung interagieren, immer mehr an Bedeutung. Sie ermöglichen komplexe Aufgaben wie Tool‑Nutzung, Web‑Surfen oder Dialoge mit Menschen. Traditionell werden solche Agenten mit Policy‑Gradient‑Methoden trainiert, die auf sparsamen Belohnungen basieren. Bei langen Aufgaben mit wenigen Rückmeldungen führt das zu stark verrauschten Lernsignalen, instabilem Training und enorm hohem Datenverbrauch.

Proximal Policy Optimization (PPO) ist ein beliebtes Verfahren zum Trainieren großer Sprachmodelle in mehrstufigen Dialogen und komplexen Denkaufgaben. In der Praxis zeigen sich jedoch häufig Instabilitäten und sogar komplette Leistungsabfälle. Forscher haben zwei Hauptursachen dafür identifiziert: Erstens die Verwendung von token‑basiertem Importance Sampling, das nicht mit der natürlichen Turn‑Level‑Struktur von Multi‑Turn‑Umgebungen übereinstimmt. Zweitens ungenaue Vorteilsschätzungen aus Off‑Policy‑Samples, bei denen der Kritiker bestimmte Zustands‑Aktionspaare noch nicht zuverlässig bewerten kann, was zu hochvarianten Gradienten und instabilen Updates führt.

Die langfristige Schulung großer Sprachmodelle (LLMs) erfordert eine stabile Exploration, damit das Modell nicht in suboptimale Verhaltensmuster abrutscht. Entropie spielt dabei eine zentrale Rolle, weil sie die Exploration steuert und vor einem vorzeitigen Zusammenbruch in schlechte Lösungen schützt.

Maximum‑Entropy‑Reinforcement‑Learning (RL) hat sich als führendes Off‑Policy‑Framework etabliert, um Exploitation und Exploration auszubalancieren. Trotz seiner Beliebtheit gibt es zwei wesentliche Engpässe: Erstens führt die gleichzeitige Einführung von Entropie und deren Gewichtungsparameter – der Temperatur – zu nicht‑stationären Q‑Wert‑Schätzungen. Zweitens wird die Temperatur bislang nur anhand der aktuellen, einzelnen Schritt‑Entropie angepasst, ohne die kumulative Wirkung über die Zeit zu berücksichtigen.

Ein neues Reinforcement‑Learning‑Verfahren setzt auf das Prinzip „Teile und Herrsche“ und verzichtet komplett auf die klassische Temporal‑Difference‑Lernmethode. Dadurch kann es große, langfristige Aufgaben effizienter bearbeiten als herkömmliche TD‑Algorithmen.