AIA Forecaster: KI erreicht menschliche Supervorhersage auf Benchmark

Ein neuer technischer Bericht aus dem Bereich der künstlichen Intelligenz präsentiert den AIA Forecaster, ein auf Large‑Language‑Modelle (LLM) basierendes System, das mit unstrukturierten Daten präzise Vorhersagen trifft.

Der Ansatz kombiniert drei Kernkomponenten: eine agentische Suche, die ausschließlich auf hochwertigen Nachrichtenquellen basiert, einen Supervisor‑Agenten, der unterschiedliche Prognosen für dasselbe Ereignis zusammenführt, und statistische Kalibrierungstechniken, die typische Verhaltens‑Biases von LLMs ausgleichen.

Auf dem Benchmark ForecastBench (Karger et al., 2024) erreicht der AIA Forecaster eine Leistung, die mit der von menschlichen Supervorhersagern vergleichbar ist und die bisherigen LLM‑Baselines deutlich übertrifft.

Darüber hinaus wird ein anspruchsvolleres Benchmark aus liquiden Prognosemärkten vorgestellt. Obwohl der AIA Forecaster allein die Markt‑Konsens‑Vorhersagen unterbietet, liefert ein Ensemble aus Forecaster und Markt‑Konsens bessere Ergebnisse als der Konsens allein – ein klarer Hinweis darauf, dass die KI wertvolle Zusatzinformationen liefert.

Die Ergebnisse setzen einen neuen Standard im KI‑Forecasting und liefern praxisnahe, übertragbare Empfehlungen für zukünftige Forschung. Nach aktuellem Stand ist dies die erste Arbeit, die nachweislich Experten‑Level‑Vorhersagen in großem Maßstab erzielt.