Meta-Erfahrung in LLMs: Neue Lernmethode steigert Reinforcement Learning

Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als wirkungsvolle Technik zur Verbesserung der Denkfähigkeiten großer Sprachmodelle (LLMs) etabliert. Trotz dieser Erfolge stößt RLVR an einen Meta-Lernengpass: Es fehlt an Mechanismen zur Fehlerzuordnung und zur Internalisierung von Erfahrungen, die im menschlichen Lernzyklus über Übung und Verifikation hinausgehen. Dadurch sind feinkörnige Kreditzuweisungen und die Bildung wiederverwendbarer Wissensrepräsentationen eingeschränkt.

Die Autoren führen das Konzept der „Meta‑Erfahrung“ ein – wiederverwendbare Wissensdarstellungen, die aus vergangenen Fehlern abgeleitet werden. Diese Meta‑Erfahrung soll die LLMs ermöglichen, aus Fehlern zu lernen, anstatt sie lediglich zu korrigieren.

Im Rahmen des neuen Meta‑Experience Learning (MEL) wird die Meta‑Erfahrung selbstständig distilliert und in das parametrierte Gedächtnis des Modells integriert. Durch die Selbstverifikation des LLMs werden korrekte und inkorrekte Pfade kontrastiv analysiert, die genauen Abzweigungspunkte von Denkfehlern identifiziert und in allgemeingültige Meta‑Erfahrungen zusammengefasst. Diese werden anschließend mittels Minimierung der negativen Log‑Likelihood in das Modellgedächtnis eingepflanzt, wodurch ein sprachmodelliertes Belohnungssignal entsteht, das korrekte und inkorrekte Denkpfade verbindet und die Wiederverwendung von Wissen erleichtert.

Experimentelle Ergebnisse zeigen, dass MEL konsistente Verbesserungen erzielt: Auf verschiedenen Benchmarks werden Pass@1-Gewinne von 3,92 % bis 4,73 % über unterschiedliche Modellgrößen hinweg erreicht. Diese Fortschritte unterstreichen das Potenzial von Meta‑Erfahrung als Schlüsselkomponente für die Weiterentwicklung von LLMs im Bereich des Reinforcement Learning.