LLMs beschleunigen die Ausrichtung Fragen an Standards – Genauigkeit & Lösungen

In modernen Bildungssystemen ist die Übereinstimmung von Prüfungsfragen mit den jeweiligen Lernstandards entscheidend, um Fairness und didaktische Relevanz zu gewährleisten. Traditionelle, von Menschen durchgeführte Prüfungen sind zwar präzise, aber zeitaufwendig und ressourcenintensiv, besonders wenn große Item-Banken überprüft werden müssen.

Eine aktuelle Studie hat untersucht, ob große Sprachmodelle (LLMs) diesen Prozess beschleunigen können, ohne die Genauigkeit zu verlieren. Dabei wurden über 12.000 Item‑Skill‑Paare aus den Klassen K‑5 analysiert und drei LLMs – GPT‑3.5 Turbo, GPT‑4o‑mini und GPT‑4o – in drei praxisnahen Aufgaben getestet: (1) Erkennung von Fehlanpassungen, (2) Auswahl der korrekten Kompetenz aus dem gesamten Standardsatz und (3) Vorfilterung von Kandidaten vor der endgültigen Klassifizierung.

Die Ergebnisse zeigen, dass GPT‑4o‑mini die Ausrichtungsstatus in etwa 83 % bis 94 % der Fälle korrekt identifiziert, wobei die Genauigkeit bei Mathematik besonders hoch bleibt, während sie im Leseverständnis etwas niedriger ausfällt – ein Hinweis auf die semantische Überlappung der Standards. Durch die Vorfilterung der Kandidatenliste konnte die Trefferquote weiter gesteigert werden: In mehr als 95 % der Fälle erschien die richtige Kompetenz unter den fünf besten Vorschlägen.

Diese Befunde deuten darauf hin, dass LLMs – insbesondere in Kombination mit einer gezielten Kandidatenfilterung – die manuelle Prüfungsarbeit erheblich reduzieren können, ohne die Zuverlässigkeit zu beeinträchtigen. Die Autoren empfehlen die Entwicklung hybrider Arbeitsabläufe, bei denen LLMs die Vorarbeit leisten und menschliche Prüfer die Endkontrolle übernehmen.

Zusammenfassend bietet die Studie einen vielversprechenden, skalierbaren Ansatz für die fortlaufende Validierung von Prüfungsfragen in Bildungseinrichtungen. Durch den Einsatz von LLMs können Lehrkräfte und Prüfer effizienter arbeiten und gleichzeitig die Qualität der Prüfungen sichern.