Von Antworten zu Fragen: EQGBench bewertet LLMs bei der Bildung von Lernfragen

Große Sprachmodelle (LLMs) haben bereits beeindruckende Leistungen beim Lösen mathematischer Aufgaben gezeigt. Der nächste Schritt – die eigentliche Erzeugung von qualitativ hochwertigen Lernfragen – bleibt jedoch noch weitgehend unerforscht.

Um die Entwicklung im Bereich der Educational Question Generation (EQG) voranzutreiben, wurde EQGBench vorgestellt. Dieses Benchmark‑Set ist speziell für die Bewertung von LLMs bei der Erstellung von Lernfragen in der chinesischen Sprache konzipiert und bietet einen fünfdimensionalen Evaluationsrahmen.

Das zugehörige Datenset umfasst 900 Evaluationseinheiten aus den drei Kernfächern der Mittelstufe: Mathematik, Physik und Chemie. Jede Probe enthält Nutzeranfragen mit unterschiedlichen Wissensschwerpunkten, Schwierigkeitsgraden und Fragestypen, sodass realistische Unterrichtsszenarien nachgebildet werden können.

Eine systematische Bewertung von 46 führenden LLMs hat gezeigt, dass noch erheblicher Spielraum für Verbesserungen besteht. Insbesondere bei der Erzeugung von Fragen, die pädagogisch wertvoll sind und die ganzheitliche Lernfähigkeit der Schüler fördern, gibt es noch viel Potenzial für Fortschritte.