Neues Benchmark FrontierScience prüft KI in Expertenwissenschaften

Die Wissenschafts-Community hat ein neues Benchmark namens FrontierScience vorgestellt, das die Fähigkeit von Sprachmodellen auf Expertenniveau in der wissenschaftlichen Forschung testet. Während aktuelle Tests oft Multiple‑Choice-Fragen oder bereits veröffentlichte Informationen nutzen, füllt FrontierScience die Lücke, indem es echte, komplexe Aufgaben aus der Praxis einsetzt.

Das Benchmark besteht aus zwei ergänzenden Tracks: dem Olympiad-Track, der internationale Olympiad-Aufgaben aus Physik, Chemie und Biologie auf dem Niveau von IPhO, IChO und IBO enthält, und dem Research-Track, der PhD‑Level‑Probleme mit offenen Fragestellungen präsentiert, die typische Teilaufgaben in der Forschung widerspiegeln.

Insgesamt umfasst FrontierScience mehrere hundert Fragen, davon 160 im frei zugänglichen Gold‑Set. Die Aufgaben decken ein breites Spektrum ab – von Quanten‑Elektrodynamik über synthetische organische Chemie bis hin zu biologischen Fragestellungen. Olympiad‑Probleme werden von Medaillengewinnern und nationalen Teamtrainern erstellt, um höchste Standards in Schwierigkeit, Originalität und Faktentreue zu gewährleisten.

Für den Research‑Track wurde ein detailliertes, rubrikbasiertes Bewertungssystem entwickelt, das die Fähigkeiten von Modellen während des gesamten Lösungsprozesses bewertet, anstatt nur das Endergebnis zu prüfen. Diese Herangehensweise ermöglicht ein tieferes Verständnis der wissenschaftlichen Denkprozesse, die von KI-Systemen übernommen werden können.