Ein kompakter Multi-Task-MoE-Ansatz für effizientes automatisiertes Scoring

Automatisches Bewerten von schriftlichen Antworten wird üblicherweise mit einem separaten Modell pro Aufgabe realisiert. Das führt zu hohem Speicherbedarf, langen Trainingszeiten und aufwändiger Wartung – Faktoren, die in realen Bildungssystemen problematisch sind. UniMoE‑Guided löst dieses Problem, indem es die Expertise mehrerer großer, aufgaben­spezifischer Lehrer‑Modelle in ein einziges, kompaktes Schüler‑Modell überträgt.

Das Schüler‑Modell kombiniert einen gemeinsamen Encoder für übergreifende Repräsentationen, ein geschaltetes Mixture‑of‑Experts‑Block, das die Balance zwischen gemeinsamem und aufgaben­spezifischem Lernen steuert, sowie leichte Aufgaben­köpfe. Durch Training mit echten Labels und zusätzlicher Lehrer‑Anleitung erreicht das Modell die Leistung starker, aufgaben­spezifischer Modelle, ist jedoch deutlich effizienter in Bezug auf Trainingszeit, Speicherbedarf und Einsatz.

Der MoE‑Layer fördert zudem die Übertragbarkeit und Generalisierung: Experten entwickeln wiederverwendbare Fähigkeiten, die die Leistung über mehrere Aufgaben hinweg steigern und eine schnelle Anpassung an neue Aufgaben mit minimalem Zusatztraining ermöglichen. In Tests mit neun NGSS‑ausgerichteten naturwissenschaftlichen Begründungsaufgaben zeigte UniMoE‑Guided eine vergleichbare Genauigkeit wie einzelne Modelle, benötigte jedoch rund sechsmal weniger Speicher als die Verwaltung mehrerer Schüler‑Modelle und 87‑mal weniger als die 20‑Billionen‑Parameter‑Lehrermodelle.

Diese Methode bietet einen praktikablen Weg zu skalierbarem, zuverlässigem und ressourcenschonendem automatisiertem Scoring, das sowohl im Klassenzimmer als auch in groß angelegten Bewertungssystemen eingesetzt werden kann.