ErrEval: Fehlerbewusste Bewertung von Fragen durch gezielte Diagnostik

Ein neues Evaluationsframework namens ErrEval wurde vorgestellt, das die Qualität von automatisch generierten Fragen (QG) genauer beurteilt. Durch die gezielte Erkennung und Kategorisierung von Fehlern soll die Bewertung realistischer und transparenter werden.

Derzeit basieren die meisten Bewertungsmethoden – auch solche, die große Sprachmodelle (LLMs) einsetzen – auf einem „Black‑Box“-Ansatz. Sie berücksichtigen selten die häufig auftretenden Mängel wie Faktenhalluzinationen oder Antwortunpassungen, was zu einer Überbewertung der Fragequalität führt.

ErrEval löst dieses Problem mit einem zweistufigen Ansatz. Zunächst identifiziert ein leichtgewichtiges, plug‑and‑play‑Modul namens Error Identifier strukturelle, sprachliche und inhaltliche Fehler. Diese diagnostischen Signale werden anschließend als explizite Evidenz in die Bewertung einfließen, sodass LLM‑Evaluatoren fundiertere, feingranulare Urteile abgeben können.

In umfangreichen Tests auf drei unterschiedlichen Benchmarks zeigte ErrEval, dass die Einbindung der Fehlerdiagnosen die Übereinstimmung mit menschlichen Bewertungen deutlich verbessert. Zudem reduziert das System die Tendenz, minderwertige Fragen zu überschätzen, was die Zuverlässigkeit der automatischen Fragegenerierung insgesamt erhöht.