Effiziente Kürzung langer Gedankengänge in großen Modellen durch Präferenzoptimierung

In den letzten Jahren haben große Rechenmodelle für logisches Denken, die sogenannten Large Reasoning Models (LRMs), beeindruckende Ergebnisse erzielt, indem sie lange, detaillierte Gedankengänge (Chain-of-Thought, CoT) generieren. Diese umfangreichen Ausgaben erhöhen jedoch die Rechenkosten erheblich und können zu übermäßigem „Überdenken“ führen, was die Balance zwischen Effektivität und Effizienz erschwert.

Aktuelle Ansätze zur Effizienzsteigerung leiden häufig unter einem Qualitätsverlust oder erfordern enorme Datenmengen und Rechenressourcen. Das neue Papier untersucht alternative Wege, die Ausgabelänge von LRMs zu verkürzen, ohne die Leistungsfähigkeit zu beeinträchtigen.

Die Autoren analysieren zunächst die Verteilung der generierten Pfade und filtern die Resultate anhand einer Schwierigkeitsabschätzung. Anschließend untersuchen sie das Konvergenzverhalten verschiedener Präferenzoptimierungsziele innerhalb eines Bradley‑Terry‑Loss‑Rahmens. Auf dieser Basis stellen sie die Length Controlled Preference Optimization (LCPO) vor, die das implizite Belohnungssignal aus dem Negative Log‑Likelihood (NLL) direkt ausbalanciert.

LCPO kann mit begrenzten Daten und kurzer Trainingszeit eine Präferenz für kürzere Ausgaben erlernen. Umfangreiche Experimente zeigen, dass die Methode die durchschnittliche Ausgabelänge um mehr als 50 % reduziert, während die Rechenleistung auf den getesteten Benchmarks erhalten bleibt.

Diese Ergebnisse unterstreichen das Potenzial effizienter, daten- und ressourcenschonender Techniken, um LRMs gezielt zu optimieren und gleichzeitig die Qualität der logischen Argumentation zu bewahren.