Neue Methode verbessert LLMs bei unüberwachtem Lernen um 68 %

Die neuesten Fortschritte bei großen Sprachmodellen haben die Leistung bei komplexen Rechenaufgaben wie Mathematik und Programmieren deutlich gesteigert. Dennoch sind diese Modelle stark auf annotierte Daten angewiesen und zeigen in unüberwachten Szenarien nur begrenzte Anpassungsfähigkeit. Um diese Beschränkungen zu überwinden, wurde das Konzept des Test‑Time Reinforcement Learning (TTRL) eingeführt, das eine selbstoptimierende Nutzung von modellgenerierten Pseudo‑Labels ermöglicht.

TTRL steht jedoch vor wesentlichen Herausforderungen: die Inferenzkosten steigen aufgrund paralleler Rollouts stark an, und ein frühzeitiger Schätzungsbias führt zu übermäßigem Vertrauen, wodurch die Ausgabediversität abnimmt und Leistungsplateaus entstehen. Um diesen Problemen entgegenzuwirken, stellt die neue Arbeit einen Entropie‑basierten Mechanismus vor, der das Balance‑Spiel zwischen Exploration und Exploitation verbessert. Dabei kommen zwei Strategien zum Einsatz: der Entropy‑Fork Tree Majority Rollout (ETMR) und die Entropy‑based Advantage Reshaping (EAR).

Die Anwendung dieser Techniken auf das Modell Llama3.1‑8B erzielte einen relativen Anstieg von 68 % im Pass‑at‑1‑Score des AIME 2024‑Benchmarks, während gleichzeitig nur 60 % des Rollout‑Token‑Budgets verbraucht wurden. Dies demonstriert, dass die Methode die Balance zwischen Inferenz‑Effizienz, Ausgabediversität und Schätzungsrobustheit deutlich verbessert und damit die Möglichkeiten des unüberwachten Lernens für offene Rechenaufgaben erweitert.

Die vorgestellte Entropie‑Mechanik markiert einen wichtigen Schritt vorwärts in der Entwicklung von Test‑Time Reinforcement Learning und offenbart neue Perspektiven für die effiziente Optimierung großer Sprachmodelle in realen, unüberwachten Anwendungsfällen.