Prompting-Strategien steigern Qualität von KI-Fragen für K-12

Eine neue Studie aus dem arXiv-Repository untersucht, wie Sprachmodelle automatisch Multiple‑Choice‑Fragen (MCQs) für die morphologische Bewertung in der Grund- und Sekundarstufe erzeugen können. Ziel ist es, die Kosten und die Inkonsistenz manueller Testentwicklung drastisch zu senken.

Die Forschung nutzt einen zweigleisigen Ansatz. Erstens wird ein feinabgestimmtes, mittelgroßes Modell – Gemma mit 2 Milliarden Parametern – gegen ein großes, ungestimmtes Modell – GPT‑3.5 mit 175 Milliarden Parametern – verglichen. Zweitens werden sieben strukturierte Prompting‑Strategien evaluiert, darunter Zero‑Shot, Few‑Shot, Chain‑of‑Thought, rollenbasiertes Prompting, sequentielles Prompting und Kombinationen dieser Techniken.

Die generierten Fragen werden sowohl mit automatisierten Metriken als auch mit einer Expertenbewertung über fünf Dimensionen beurteilt. Zusätzlich wird GPT‑4.1, das auf Expertenbewertungen trainiert wurde, eingesetzt, um menschliche Bewertung auf großem Umfang zu simulieren.

Die Ergebnisse zeigen, dass strukturierte Prompting‑Strategien – besonders die Kombination aus Chain‑of‑Thought und sequentiellem Design – die Qualität der von Gemma erzeugten Fragen deutlich steigern. Gemma liefert im Vergleich zu den Zero‑Shot‑Antworten von GPT‑3.5 konstruiertere und instruktionsangemessenere Items. Das Prompt‑Design spielt dabei eine entscheidende Rolle für die Leistung von mittelgroßen Modellen.

Die Studie demonstriert, dass strukturierte Prompting und effizientes Fine‑Tuning mittelgroße Modelle unter limitierten Datenbedingungen erheblich verbessern können. Durch die Kombination aus automatisierten Metriken, Expertenurteil und Simulation großer Modelle wird sichergestellt, dass die Fragen den Assessment‑Zielen entsprechen. Der vorgestellte Workflow bietet eine praktische und skalierbare Methode zur Entwicklung und Validierung von Sprachbewertungsfragen für die K‑12‑Bildung.