ReplicatorBench: KI-Agenten auf Replizierbarkeit in Sozialwissenschaften getestet

In einer Zeit, in der KI-Agenten immer häufiger zur automatisierten Bewertung wissenschaftlicher Arbeiten eingesetzt werden, eröffnet der neue Benchmark ReplicatorBench einen wichtigen Fortschritt. Er geht über die bisherige Fokussierung auf reine Reproduzierbarkeit hinaus und prüft, ob KI-Agenten tatsächlich die Fähigkeit besitzen, Forschungsergebnisse zu replizieren – also unter neuen Bedingungen zu reproduzieren und dabei auch nicht replizierbare Studien zu erkennen.

ReplicatorBench besteht aus drei klar definierten Phasen: Zunächst müssen Agenten die relevanten Daten für eine Replikation extrahieren und abrufen. Anschließend entwerfen und führen sie die notwendigen computergestützten Experimente durch. In der letzten Phase interpretieren sie die Resultate und ziehen Schlüsse, die mit den Erkenntnissen menschlicher Replikatoren übereinstimmen. Durch die Einbindung von von Menschen verifizierten, replizierbaren und nicht replizierbaren Forschungsaussagen aus den Sozial- und Verhaltenswissenschaften bietet der Benchmark eine realitätsnahe Testumgebung.

Zur Durchführung dieser Aufgaben wurde das ReplicatorAgent-Framework entwickelt. Es kombiniert Web‑Suche, interaktive Sandbox‑Umgebungen und verschiedene Programmierwerkzeuge, um die Aufgaben von ReplicatorBench zu erfüllen. In einer ersten Evaluation wurden vier unterschiedliche große Sprachmodelle (LLMs) sowie verschiedene Designentscheidungen hinsichtlich der Programmiersprache getestet, um die Leistungsfähigkeit der Agenten zu benchmarken.

ReplicatorBench liefert damit ein umfassendes Werkzeug, um die Replizierbarkeit von KI-Agenten in den Sozialwissenschaften systematisch zu prüfen. Die Ergebnisse zeigen, dass KI-Agenten bereits in der Lage sind, wesentliche Schritte menschlicher Replikatoren nachzuahmen, und legen gleichzeitig die Grundlage für weitere Verbesserungen in der automatisierten Forschungssicherung.