PreScience: Benchmark zur Vorhersage wissenschaftlicher Fortschritte

Forscher haben ein neues Tool entwickelt, das mithilfe von KI die nächsten großen wissenschaftlichen Durchbrüche vorhersagen kann. Das PreScience-Benchmark nutzt historische Publikationen, um vier zentrale Aufgaben des Forschungsprozesses zu simulieren: die Vorhersage von Kollaborateuren, die Auswahl relevanter Vorarbeiten, die Generierung möglicher Beiträge und die Abschätzung ihres Einflusses.

Das Datenset umfasst 98 000 aktuelle AI‑Papiere, bei denen Autoren eindeutig identifiziert und sämtliche Metadaten zeitlich abgeglichen wurden. Zusätzlich liefert ein strukturierter Graph von 502 000 Publikationen die Publikationsgeschichte und Zitiernetzwerke aller beteiligten Forscher.

Für jede Aufgabe wurden Basismodelle und Bewertungskriterien entwickelt. Ein neu erfundener LLM‑basierter Maßstab namens LACERScore übertrifft frühere Metriken bei der Messung von Beitragssimilarität und nähert sich der Übereinstimmung zwischen menschlichen Annotatoren an.

Die Ergebnisse zeigen, dass noch erhebliches Verbesserungspotenzial besteht. Bei der Beitragserzeugung erreichen aktuelle LLMs nur eine durchschnittliche Ähnlichkeit von 5,6 auf einer Skala von 1 bis 10. In einer 12‑Monats‑Simulation erzeugt die KI ein synthetisches Forschungs‑Corpus, das systematisch weniger vielfältig und weniger neuartig ist als die von Menschen verfasste Forschung desselben Zeitraums.