DoGe: Kontextbasiertes Selbstlernen für Vision‑Language‑Reasoning

In einer Zeit, in der Vision‑Language‑Modelle (VLMs) durch Reinforcement Learning (RL) beeindruckende Schlussfolgerungen erzielen, stellt die Notwendigkeit großer, qualitativ hochwertiger multimodaler Datensätze ein großes Hindernis dar – besonders in spezialisierten Bereichen wie Chemie, Geowissenschaften oder mathematischer Multimodalität.

Das neue Modell DoGe (Decouple to Generalize) löst dieses Problem, indem es die Lernphase in zwei getrennte Komponenten aufteilt: den „Thinker“, der sich zunächst auf den Kontext konzentriert, und den „Solver“, der die eigentliche Aufgabenlösung übernimmt. Durch diese Dual‑Decoupling‑Strategie können die Belohnungssignale präziser quantifiziert und ein zweistufiger RL‑Post‑Training-Ansatz implementiert werden, der zunächst frei im Kontext exploriert und anschließend gezielt Aufgaben löst.

Um die Datenvielfalt weiter zu erhöhen, baut DoGe ein sich entwickelndes Curriculum‑Learning‑Pipelinesystem auf. Es erweitert ein natives Domänenwissen‑Korpus und nutzt einen iterativ wachsenden Seed‑Problem‑Pool, wodurch die Modelle kontinuierlich mit neuen, relevanten Beispielen gefüttert werden.

Experimentelle Ergebnisse zeigen, dass DoGe die Basismodelle auf einer Vielzahl von Benchmarks konsequent übertrifft. Damit bietet es einen skalierbaren Weg, um selbstlernende, große Vision‑Language‑Modelle (LVLMs) in datenarmen Szenarien zu realisieren und gleichzeitig die Gefahr von Reward‑Hacking zu minimieren.