Neue Methode verfolgt mathematische Kompetenz durch Problemlösungsprozesse

In der Forschung zur Wissensverfolgung (Knowledge Tracing, KT) steht die Modellierung des Lernzustands von Schülerinnen und Schülern im Fokus, um deren zukünftige Leistungen vorherzusagen und personalisiertes Lernen zu ermöglichen. Traditionelle KT-Modelle basieren jedoch ausschließlich auf der Richtigkeit von Antworten und vernachlässigen die reichhaltigen Informationen, die in den eigentlichen Problemlösungsprozessen verborgen sind. Diese Einschränkung führt zu mangelnder Erklärbarkeit der Vorhersagen.

Um dieses Problem zu lösen, wurde das neue Verfahren Knowledge Tracing Leveraging Problem‑Solving Process (KT‑PSP) entwickelt. KT‑PSP nutzt die detaillierten Schritte, die Lernende bei der Lösung mathematischer Aufgaben durchführen, um die mehrdimensionalen Aspekte ihrer mathematischen Kompetenz abzubilden. Ergänzend dazu wurde das Datenset KT‑PSP‑25 speziell für diese Methode erstellt.

Ein weiterer Fortschritt ist das StatusKT‑Framework, das einen dreistufigen LLM‑Pipeline-Ansatz verwendet: ein Lehrer‑LLM extrahiert zunächst problembezogene Kompetenzindikatoren, ein Schüler‑LLM generiert daraufhin Antworten basierend auf dem Lösungsprozess des Lernenden, und ein zweiter Lehrer‑LLM bewertet diese Antworten, um die Beherrschung jedes Indikators zu bestimmen. Durch diese explizite Modellierung erhält man nicht nur bessere Vorhersagen, sondern auch nachvollziehbare Erklärungen für die ermittelten Kompetenzniveaus.

Experimentelle Ergebnisse auf dem KT‑PSP‑25‑Datensatz zeigen, dass StatusKT die Leistung bestehender KT‑Methoden deutlich steigert. Gleichzeitig bietet es eine transparente Darstellung der mathematischen Kompetenz, was die Akzeptanz und das Vertrauen in KI‑gestützte Lernsysteme stärkt.