Rubrikbasierter Kritiker lernt aus seltenen, verrauschten Echtzeitdaten

In der Forschung zu programmierfähigen Agenten wird häufig die Fähigkeit gemessen, Aufgaben autonom zu lösen, indem man auf überprüfbare Belohnungen wie das Bestehen von Unit‑Tests zurückgreift. Doch in der Praxis arbeiten solche Agenten mit Menschen zusammen, wobei Erfolgssignale selten, verrauscht und verzögert sind. Das neue Papier von ArXiv‑2603.03800v1 schlägt vor, aus diesen knappen und unzuverlässigen Interaktionsdaten einen „Kritiker“ zu lernen, der als Belohnungsmodell für Reinforcement‑Learning‑Training oder zur Optimierung bei der Ausführung dient.

Der Ansatz, genannt Critic Rubrics, nutzt ein rubric‑basiertes Lernframework mit 24 Verhaltensmerkmalen, die ausschließlich aus den Interaktionsspuren von Mensch und Agent abgeleitet werden können. Durch ein halb‑überwachtes Ziel kann das Modell gleichzeitig die Rubriken und vorhandene, aber seltene menschliche Rückmeldungen vorhersagen.

Experimentelle Ergebnisse zeigen, dass die so entwickelten Kritiker die Best‑of‑N‑Reranking‑Leistung auf dem SWE‑Bench‑Benchmark deutlich steigern (Best@8 +15,9 % gegenüber Random@8), die frühzeitige Abbruchzeit um 17,7 % reduzieren und gleichzeitig die Auswahl von Trainingsdaten durch Kritiker‑basierte Trajektorien‑Selektion unterstützen.