Neues Benchmark für automatisiertes kausales Inferenz: CausalReasoningBenchmark

Ein neues Benchmark namens CausalReasoningBenchmark wurde vorgestellt, das die Leistungsfähigkeit automatisierter kausaler Inferenzsysteme auf realen Daten misst. Im Gegensatz zu bisherigen Benchmarks, die sich meist auf einen einzigen numerischen Wert wie den Average Treatment Effect (ATE) beschränken, unterscheidet dieses Tool zwei wesentliche Schritte der kausalen Analyse: die Identifikation – also die Formulierung eines gültigen Forschungsdesigns unter gegebenen Annahmen – und die Schätzung – die numerische Umsetzung dieses Designs auf begrenzten Daten.

Das Benchmark umfasst 173 Fragen, die auf 138 realen Datensätzen basieren. Diese Datensätze wurden aus 85 peer‑reviewten Forschungsartikeln sowie vier renommierten Lehrbüchern zur kausalen Inferenz zusammengestellt. Für jede Frage muss ein System zunächst eine strukturierte Identifikationsspezifikation liefern, die Strategie, Behandlungsvariable, Ergebnisvariable, Kontrollvariablen und alle designbezogenen Elemente eindeutig benennt. Anschließend wird ein Punktwert mit zugehörigem Standardfehler erwartet.

Durch die getrennte Bewertung von Identifikation und Schätzung ermöglicht das Benchmark eine feingranulare Diagnose. So kann genau ermittelt werden, ob Fehler auf fehlende kausale Überlegungen oder auf numerische Ausführungsprobleme zurückzuführen sind. In einer ersten Testreihe mit einem führenden großen Sprachmodell (LLM) zeigte sich, dass das Modell die übergeordnete Strategie in 84 % der Fälle korrekt erkennt. Die vollständige Richtigkeit der Identifikationsspezifikation lag jedoch lediglich bei 30 %, was darauf hinweist, dass die Herausforderung in den feinen Details des Forschungsdesigns liegt und nicht in der reinen Berechnung.

Der CausalReasoningBenchmark ist öffentlich auf Hugging Face verfügbar und soll die Entwicklung robusterer automatisierter kausaler Inferenzsysteme fördern. Durch die Kombination aus realen Daten, detaillierten Anforderungen und einer klaren Trennung von Analyse- und Schätzschritten bietet das Benchmark eine neue, praxisnahe Plattform für die Weiterentwicklung von KI‑gestützten kausalen Methoden.