FlatFormer: Flacher Transformer für Lernverfolgung mit kognitiver Bias-Integration

Die neueste Veröffentlichung auf arXiv (2512.06629v1) präsentiert FlatFormer, ein schlankes Transformer-Modell, das die Lernverfolgung (Knowledge Tracing) revolutioniert. Durch die Kombination von lernbaren Sitzungs‑IDs und sinusförmigen Schritt‑Einbettungen sowie einer vorab berechneten Power‑Law‑Bias‑Injection in die Aufmerksamkeitslogits kann FlatFormer komplexe kognitive Prozesse wie Lernzyklen und Vergessenskurven exakt abbilden – ohne die üblichen, rechenintensiven hierarchischen Strukturen.

In umfangreichen Tests auf vier großen Datensätzen, darunter EdNet und Junyi, übertrifft FlatFormer die bisherigen Spitzenreiter. Auf EdNet steigert es die AUC gegenüber dem führenden HiTSKT-Modell um beeindruckende 8,3 %. Gleichzeitig nutzt es weniger als 15 % der Parameter und führt die Vorhersagen etwa dreimal schneller aus.

Diese Ergebnisse zeigen eindeutig, dass hohe kognitive Genauigkeit nicht zwangsläufig mit komplexen Architekturen verbunden sein muss. FlatFormer beweist, dass ein flacher Transformer, ergänzt durch gezielte Bias‑Injection, sowohl leistungsstark als auch effizient ist – ein bedeutender Fortschritt für Echtzeit‑Lernanalyse‑Anwendungen.