Neues Framework GUIDE verbessert automatisierte Bewertung von offenen Antworten

Die automatisierte Bewertung von offenen Schülerantworten ist ein entscheidender Schritt, um personalisiertes Feedback in großem Umfang zu ermöglichen. Große Sprachmodelle (LLMs) haben in den letzten Jahren gezeigt, dass sie über In‑Context‑Learning (ICL) durchaus in der Lage sind, solche Aufgaben zu bewältigen – allerdings stark abhängig von der Auswahl der wenigen Beispielantworten und der Qualität der zugehörigen Begründungen.

Traditionelle Retrieval‑Methoden wählen Beispiele meist nach semantischer Ähnlichkeit aus. Diese Vorgehensweise erkennt jedoch häufig nicht die feinen Entscheidungsgrenzen, die für die Einhaltung von Bewertungsskalen erforderlich sind. Zudem ist das manuelle Erstellen der Experten‑Begründungen, die die Modelle anleiten, ein erheblicher Engpass, der die Skalierbarkeit einschränkt.

Um diese Schwächen zu überwinden, wurde das neue Framework GUIDE (Grading Using Iteratively Designed Exemplars) entwickelt. GUIDE betrachtet die Auswahl und Verfeinerung von Beispielen als ein Optimierungsproblem, das sich auf die Grenzen der Bewertungsskala konzentriert. Durch einen kontinuierlichen Auswahl‑und‑Verfeinerungs‑Loop nutzt GUIDE neuartige kontrastive Operatoren, um „Grenzpaare“ zu identifizieren – semantisch ähnliche Antworten, die unterschiedliche Noten erhalten. Anschließend werden diskriminierende Begründungen generiert, die explizit erklären, warum eine Antwort einen bestimmten Punktwert erhält und nicht einen angrenzenden.

Umfangreiche Experimente in den Bereichen Physik, Chemie und pädagogisches Fachwissen haben gezeigt, dass GUIDE die Standard‑Retrieval‑Baselines deutlich übertrifft. Besonders auffällig sind die robusten Verbesserungen bei Grenzfällen, wo die Bewertung am Rande der Skala liegt. Diese Fortschritte deuten darauf hin, dass GUIDE das Potenzial hat, die Zuverlässigkeit automatisierter Bewertungssysteme nachhaltig zu erhöhen und damit die Skalierbarkeit von personalisiertem Feedback in der Bildung zu beschleunigen.