Neue 3D-Testzeit-Skalierung verbessert KI-Logik bei komplexen Aufgaben

In einer aktuellen Veröffentlichung auf arXiv wird ein neues Konzept vorgestellt, das die Leistungsfähigkeit von KI-Modellen beim logischen Denken auf ein neues Level hebt. Forscher im Bereich des Reinforcement Learning haben gezeigt, dass Modelle wie R1 und o1 ihre Genauigkeit beim Testen steigern, wenn die Länge des Kontextes zunimmt – ein Phänomen, das als „Test‑Time Scaling“ bezeichnet wird.

Der Hauptnachteil dieser Methode liegt jedoch in der begrenzten Kontextlänge der Basismodelle, die weit unter dem Token‑Volumen liegt, das während des Trainings verwendet wird. Um dieses Hindernis zu überwinden, schlägt die Studie einen einheitlichen Rahmen vor, der drei Dimensionen des Test‑Time Scaling kombiniert: Kontext, Batch und Turn.

Die Kontext‑Skalierung nutzt längere Eingaben, die Batch‑Skalierung erhöht die Genauigkeit durch paralleles Sampling, und die Turn‑Skalierung verbessert die Ergebnisse durch iterative Selbstrefinement‑Schritte. Durch die Kombination aller drei Dimensionen – die sogenannte 3D‑Test‑Time‑Skalierung – konnten die Autoren signifikante Verbesserungen bei anspruchsvollen Testaufgaben erzielen, darunter die International Olympiad in Informatics (IOI), die International Mathematical Olympiad (IMO) und die CPHO‑Wettbewerbe.

Ein weiterer Vorteil dieser Methode ist die Integration von menschlichem Feedback. Durch ein „Human‑in‑the‑Loop“-Framework lassen sich die Modelle weiter optimieren und an die Präferenzen der Nutzer anpassen. Darüber hinaus eröffnet die 3D‑Skalierung neue Perspektiven für die embodied learning‑Forschung, indem sie die Entwicklung von humanoiden Steuerungsbehaviours unterstützt.