SSLogic: Agentisches Meta‑Synthese‑Framework für logisches RL

Die Skalierung überprüfbarer Trainingssignale bleibt ein entscheidender Engpass für Reinforcement Learning from Verifiable Rewards (RLVR). Logische Argumentation bietet hier ein ideales Fundament: die Regeln sind formal definiert und die Antworten können programmatisch verifiziert werden. Bisherige Synthese‑Pipelines stützten sich jedoch entweder auf von Experten geschriebene Code‑Basen oder auf starre Vorlagen, was die Weiterentwicklung auf die Ebene einzelner Instanzen beschränkte.

Mit SSLogic wird dieser Rahmen erweitert. Das Framework arbeitet in einem geschlossenen Generate‑Validate‑Repair‑Zyklus, in dem Generator‑ und Validator‑Programme iterativ erzeugt und repariert werden. Dadurch kann die gesamte Aufgabenfamilie – nicht nur einzelne Beispiele – kontinuierlich weiterentwickelt und die Schwierigkeit kontrolliert gesteigert werden.

Zur Gewährleistung der Zuverlässigkeit führt SSLogic ein Multi‑Gate‑Validierungsprotokoll ein. Es kombiniert mehrfache Konsistenzprüfungen mit einer „Adversarial Blind Review“, bei der unabhängige Agenten Aufgaben lösen, indem sie Code schreiben und ausführen. Auf diese Weise werden mehrdeutige oder schlecht formulierte Aufgaben herausgefiltert.

Ausgehend von 400 Ausgangsfamilien wurden in zwei Evolutionsrunden 953 neue Familien und insgesamt 21.389 überprüfbare Instanzen generiert – ein deutlicher Anstieg gegenüber den ursprünglichen 5.718. Modelle, die mit den SSLogic‑evolved Daten trainiert wurden, erzielten konsistente Verbesserungen gegenüber dem Baseline‑Set bei gleicher Trainingsdauer: SynLogic +5,2 %, BBEH +1,4 %, AIME25 +3,0 % und Brumo25 +3,7 %.