Code-Embeddings revolutionieren Übungsempfehlungen in Programmierkursen

Ein neues Empfehlungssystem nutzt die Einbettungen von Quellcode, um die Programmierfähigkeiten von Studierenden präzise zu modellieren. Durch die Analyse aller im Kurs eingereichten Programme entsteht ein Profil, das die Kompetenzen in verschiedenen Themenbereichen abbildet.

Die Profilvektoren werden mit den Fähigkeitsprofilen von noch nicht gelösten Aufgaben verglichen. Mithilfe der Kosinusähnlichkeit werden die Übungen anschließend nach ihrer Passgenauigkeit zu den aktuellen Kenntnissen der Studierenden sortiert.

In einer Evaluation mit Daten aus einem Einführungskurs in Informatik zeigte sich, dass Jina‑Embeddings die Fähigkeiten besser vorhersagen als klassische TF‑IDF‑Methoden, CodeBERT‑cpp oder GraphCodeBERT. Die Ergebnisse wurden über sieben Kursdurchläufe hinweg konsistent bestätigt.

Das System lieferte zudem Übungsvorschläge, die stärker auf den wöchentlichen Lerninhalten basierten als herkömmliche Ansätze, die lediglich die Richtigkeit oder die Lösungszeit berücksichtigten. Damit beweist die Studie, dass die vorhergesagten Programmierfähigkeiten ein deutlich stärkeres Signal für die Auswahl geeigneter Aufgaben liefern.