LLMs bewerten Aufsätze nicht wie Menschen – Ergebnisse zeigen Unterschiede

Neues Forschungsergebnis aus dem arXiv-Preprint arXiv:2603.23714v1 zeigt, dass große Sprachmodelle (LLMs) bei der automatischen Bewertung von Aufsätzen noch nicht die gleiche Genauigkeit wie menschliche Prüfer erreichen. Die Studie testete mehrere Modelle aus den GPT- und Llama-Familien in einer „Out‑of‑the‑Box“-Konfiguration, ohne sie speziell für die Aufgabe zu trainieren.

Die Ergebnisse deuten darauf hin, dass die Übereinstimmung zwischen den von LLMs vergebenen Punkten und den menschlichen Noten relativ schwach ist und stark von den Merkmalen des Aufsatzes abhängt. Während menschliche Rater tendenziell längere, gut ausgearbeitete Texte höher bewerten, vergeben LLMs häufig höhere Punkte für kurze oder unterentwickelte Aufsätze. Umgekehrt werden längere Texte, die nur geringe Grammatik- oder Rechtschreibfehler enthalten, von den Modellen oft niedriger bewertet.

Ein interessanter Befund ist, dass die von LLMs generierten Bewertungen mit dem dazugehörigen Feedback übereinstimmen: Aufsätze, die mehr Lob erhalten, bekommen höhere Punkte, während kritische Kommentare zu niedrigeren Noten führen. Diese konsistente Beziehung zwischen Bewertung und Feedback zeigt, dass die Modelle interne Muster erkennen, jedoch auf Signalen basieren, die sich von denen menschlicher Prüfer unterscheiden.

Obwohl die Übereinstimmung mit menschlichen Noten begrenzt bleibt, demonstriert die Studie, dass LLMs zuverlässiges Feedback liefern können, das ihre Bewertung widerspiegelt. Damit bieten sie eine wertvolle Unterstützung für automatisierte Essay‑Scoring‑Systeme, insbesondere wenn sie als Ergänzung zu menschlichen Prüfern eingesetzt werden.