EduResearchBench: Neue Benchmark für KI-gestützte Bildungsforschung

Mit dem neuen EduResearchBench wird die Leistungsfähigkeit von Large Language Models (LLMs) im Bereich der Bildungsforschung systematisch bewertet. Das Tool nutzt ein hierarchisches, atomare Aufgaben‑Decompositionsmodell, das den gesamten Forschungsprozess in sechs spezialisierte Module und 24 fein abgestufte Aufgaben unterteilt. Dadurch können LLMs nicht nur in der Gesamtausgabe, sondern auch auf spezifische Schritte wie quantitative Analyse, qualitative Forschung und Politikforschung geprüft werden.

Der Ansatz löst ein zentrales Problem bestehender Benchmarks, die meist nur ein einziges, monolithisches Ergebnis liefern. Durch die detaillierte Aufschlüsselung erhält man diagnostische Rückmeldungen zu konkreten Schwachstellen, anstatt nur einen aggregierten Score zu erhalten. Zusätzlich wird ein Curriculum‑Learning‑Modell eingeführt, das die Lernkurve von Grundkenntnissen bis hin zu komplexen methodischen Argumentationen schrittweise steigert.

Zur Schulung des Modells wurden 55.000 rohe akademische Texte analysiert, aus denen 11.000 hochwertige Instruktionspaare extrahiert wurden. Auf Basis dieser Daten wurde EduWrite, ein 30‑Billionen‑Parameter‑Modell, trainiert. In Experimenten übertraf EduWrite die größeren, allgemeineren Modelle mit 72 Milliarden Parametern in mehreren Kernaufgaben der wissenschaftlichen Schreibpraxis.