ToolPRMBench: Benchmark für Prozessbelohnungsmodelle bei Tool‑Agenten

In der Welt der KI‑Agenten, die komplexe Werkzeuge nutzen, haben belohnungsbasierte Suchmethoden gezeigt, dass sie die Leistung deutlich steigern können. Der Schlüssel dazu sind Prozessbelohnungsmodelle (PRMs), die Schritt für Schritt Feedback geben und so ein feineres Monitoring ermöglichen.

Bislang fehlte jedoch ein systematisches und zuverlässiges Bewertungssystem für PRMs in solchen Tool‑Umgebungen. Mit ToolPRMBench füllt die neue Studie diese Lücke: ein umfangreiches Benchmark, das Agentenpfade in einzelne Testfälle zerlegt. Jeder Fall enthält die Interaktionsgeschichte, die korrekte Aktion, eine plausible, aber falsche Alternative sowie relevante Metadaten zum verwendeten Tool.

Um sowohl lokale als auch globale Fehler zu erfassen, nutzt ToolPRMBench zwei Sampling‑Ansätze: Offline‑Sampling isoliert einzelne Schrittfehler, während Online‑Sampling realistische Mehrschritt‑Fehler aus vollständigen Rollouts abbildet. Ein mehrstufiges LLM‑Verifikations‑Pipeline reduziert Rausch‑Labels und sorgt für hohe Datenqualität.

Die umfangreichen Experimente, die große Sprachmodelle, generische PRMs und speziell auf Tools zugeschnittene PRMs vergleichen, zeigen deutliche Unterschiede in der Effektivität. Besonders vielversprechend sind die spezialisierten PRMs, die die Leistung von Tool‑Agenten weiter voranbringen können.

Der komplette Code und die Datensätze werden auf GitHub veröffentlicht, sodass die Community sofort von ToolPRMBench profitieren kann.