TaskEval: Automatisierte Evaluierung von Foundation-Modellen für spezifische Aufgaben

Halluzinationen stellen bei Anwendungen, die auf Foundation‑Modellen (FMs) basieren, ein zentrales Problem dar. Um zu verstehen, wo und wie diese subtilen Fehler auftreten, sind Evaluationsmethoden – kurz „Evals“ – unerlässlich.

Frühere Studien haben neue Eval‑Methoden oder Benchmarks für einzelne Aufgaben entwickelt, bieten aber keine Lösung für Software‑Teams, die keine geeigneten Metriken oder Datensätze besitzen.

TaskEval schließt diese Lücke, indem es einen FM‑aufgaben‑spezifischen Evaluator synthetisiert. Der Ansatz kombiniert Automatisierung mit einer benutzerdefinierten Oberfläche, die gezielt menschliches Feedback erfasst.

Die Kerninnovation besteht aus drei Elementen: einem Aufgaben‑agnostischen Meta‑Modell, das Eigenschaften jeder FM‑Aufgabe erfasst; einem Interaktionsprotokoll, das effizientes menschliches Feedback ermöglicht; und einem Eval‑Synthesizer, der passende Eval‑Sätze auswählt oder generiert.

In der Praxis wurde TaskEval an zwei unterschiedlichen FM‑Aufgaben getestet – der Extraktion von Diagrammdaten und der Beantwortung von Dokumentfragen. Vorläufige Ergebnisse zeigen eine Genauigkeit von 93 % bzw. 90 % bei den ausgewählten Eval‑Sätzen.

Diese Forschung liefert Engineering‑Teams ein praktisches Werkzeug, um die Qualität von FM‑Ausgaben systematisch zu prüfen und zu verbessern.