Effizientes Training großer Rechenmodelle durch Progressive Thought Encoding

Große Rechenmodelle für komplexe Aufgaben sind äußerst leistungsfähig, doch ihr Training mit Reinforcement Learning (RL) bleibt ein Engpass. Die Notwendigkeit langer Rollouts, um ergebnisbasierte Belohnungen zu erhalten, führt dazu, dass die autoregressive Dekodierung den Großteil der Rechenzeit und des Speicherbedarfs beansprucht. Zwar können Sliding‑Window‑Cache‑Strategien den Speicher begrenzen, sie stören jedoch die Fähigkeit der Modelle, über lange Kontexte hinweg zu denken, und führen zu Leistungseinbußen.

Die neue Methode „Progressive Thought Encoding“ bietet einen eleganten Weg, dieses Problem zu lösen. Durch das schrittweise Einbetten von Zwischenergebnissen in kompakte Vektor­darstellungen wird das Back‑Propagation über komplette Cache‑Rollouts überflüssig. Damit sinkt der Speicherverbrauch drastisch, während die Inferenz weiterhin mit konstantem Speicherbedarf betrieben werden kann – ein entscheidender Vorteil für die Skalierbarkeit.

In umfangreichen Tests mit drei Modellen – Qwen2.5‑3B‑Instruct, Qwen2.5‑7B‑Instruct und DeepSeek‑R1‑Distill‑Llama‑8B – auf sechs anspruchsvollen mathematischen Benchmarks zeigte die Methode beeindruckende Ergebnisse. Im Durchschnitt erzielte sie einen Anstieg von 19,3 % gegenüber LoRA‑basierter Feinabstimmung und 29,9 % gegenüber unoptimierten LRMs. Besonders hervorzuheben ist der maximale Genauigkeitsgewinn von 23,4 % bei AIME 2024/2025 unter denselben strengen Cache‑Bedingungen.

Diese Ergebnisse demonstrieren, dass Progressive Thought Encoding nicht nur die Rechenleistung von LRMs verbessert, sondern auch das RL‑Training erheblich effizienter und skalierbarer macht – selbst unter realen Speicherbeschränkungen. Die Methode eröffnet damit neue Möglichkeiten für die praktische Anwendung großer Rechenmodelle in ressourcenbeschränkten Umgebungen.