KI-Analysten erzeugen vielfältige Forschungsergebnisse – neue Studie zeigt

Eine kürzlich veröffentlichte Arbeit auf arXiv (2602.18710v1) demonstriert, wie autonome KI-Analysten, die auf großen Sprachmodellen (LLMs) basieren, die Vielfalt von Forschungsergebnissen reproduzieren können – und das viel günstiger und schneller als herkömmliche „many‑analyst“-Studien.

Die Forscher haben die KI-Analysten mit einer vorgegebenen Hypothese und einem festen Datensatz beauftragt. Durch Variation des zugrunde liegenden Modells und der Prompt‑Formulierung wurden mehrere unabhängige Analysen erzeugt. Jeder KI-Analyst erstellte und führte einen kompletten Analyse‑Pipeline selbstständig aus, während ein KI‑Auditor die methodische Gültigkeit jeder Ausführung prüfte.

In drei unterschiedlichen Datensätzen – sowohl experimenteller als auch beobachtender Natur – zeigten die KI‑Analysen eine breite Streuung in Effektgrößen, p‑Werten und der Entscheidung, ob die Hypothese unterstützt wird oder nicht. Oftmals änderte sich die Schlussfolgerung komplett, wenn ein anderer Analyst eingesetzt wurde.

Die Variation ist nicht zufällig: erkennbare analytische Entscheidungen wie Vorverarbeitung, Modellwahl und Inferenzmethoden unterscheiden sich systematisch je nach LLM‑Typ und Persona‑Einstellung. Noch bemerkenswerter ist, dass die Ergebnisse steuern lassen sind – durch Wechsel des Analysten‑Personas oder des Modells verschiebt sich die Verteilung der Resultate, selbst wenn methodisch fehlerhafte Runs ausgeschlossen werden.

Diese Erkenntnisse legen nahe, dass KI‑Analysten ein leistungsfähiges Werkzeug darstellen, um analytische Vielfalt zu erzeugen und die Robustheit von Forschungsergebnissen zu prüfen, ohne die zeitintensive Koordination mehrerer menschlicher Teams zu erfordern.