Neues Verfahren verbessert LLM-Logik durch latentes Contrastive RL

Large Language Models (LLMs) glänzen bei der Erzeugung von Texten, doch bei komplexen Mehrschritt‑Aufgaben bleiben sie oft bei statistischer Anpassung statt systematischer Logik. Um dieses Problem anzugehen, setzt die neue Methode DeepLatent Reasoning (DLR) auf ein latentes, bidirektionales Contrastive Reinforcement Learning.

Der Ansatz verschiebt die kostenintensive Trial‑and‑Error‑Phase von der hochdimensionalen Token‑Ebene auf einen kontinuierlichen latenten Raum. Ein leichtgewichtiges Assistenzmodell generiert dabei mehrere (K) mögliche Repräsentationen von Denkketten. Durch ein zweistufiges Belohnungssystem, das Korrektheit und Formatierung berücksichtigt, werden nur die vielversprechendsten latenten Pfade ausgewählt.

Diese hochwertigen Trajektorien werden anschließend in ein eingefrorenes Hauptmodell eingespeist, das die endgültige Ausgabe in einem einzigen Durchlauf erzeugt. Durch die Fixierung der Hauptmodellparameter wird das Risiko des katastrophalen Vergessens mathematisch ausgeschlossen. Zusätzlich sorgt ein kontrastives Lernziel für gezielte Exploration und erhöht die Vielfalt der Überlegungen, ohne die Kohärenz zu beeinträchtigen.

Erste Experimente zeigen, dass DLR die Effizienz und Stabilität von LLM‑Reasoning deutlich steigert, ohne die Modellkomplexität zu erhöhen. Damit eröffnet die Methode neue Perspektiven für robuste, mehrschrittige KI‑Anwendungen.