CODE-GEN: KI-gestützte Multiple‑Choice‑Fragen für Programmierunterricht

Ein neues KI-System namens CODE‑GEN wurde vorgestellt, das mithilfe von Retrieval‑Augmented Generation (RAG) und einer „Human‑in‑the‑Loop“-Architektur automatisch Multiple‑Choice‑Fragen zu Programmieraufgaben erstellt. Ziel ist es, die Code‑Verständnis‑ und Problemlösungsfähigkeiten von Lernenden gezielt zu fördern.

CODE‑GEN besteht aus zwei spezialisierten Agenten: Der Generator erzeugt Fragen, die exakt auf die Lernziele eines Kurses abgestimmt sind, während ein unabhängiger Validator die Qualität der Fragen anhand von sieben pädagogischen Kriterien bewertet. Beide Agenten nutzen zusätzliche Tools, um die Genauigkeit der Berechnungen zu erhöhen und die Ausgaben von Code‑Snippets zu verifizieren.

In einer Evaluationsstudie bewerteten sechs Fachexperten 288 von CODE‑GEN generierten Fragen. Insgesamt wurden 2 016 Bewertungspaare erstellt, die anzeigten, ob die Validator‑Bewertung von den Experten bestätigt wurde, ergänzt durch 131 qualitative Rückmeldungen. Die Ergebnisse zeigten, dass die KI in 79,9 % bis 98,6 % der Fälle die Qualitätskriterien erfüllte, insbesondere bei klaren Formulierungen, gültigem Code und korrekten Antwortoptionen.

Die Analyse der Rückmeldungen verdeutlicht, dass CODE‑GEN besonders zuverlässig ist bei Aspekten, die sich durch automatisierte Prüfungen abbilden lassen. Für komplexere didaktische Elemente, wie das Entwerfen von sinnvollen Ablenkungsoptionen, bleibt jedoch menschliche Expertise unverzichtbar. Insgesamt demonstriert das System, wie KI und menschliche Fachkenntnisse zusammenwirken können, um hochwertige Lernmaterialien effizient zu produzieren.