Neues Bewertungsframework für KI-Agenten in AutoML-Pipelines

Agentenbasierte AutoML-Systeme setzen große Sprachmodelle ein, um komplexe, mehrstufige Entscheidungen zu treffen – von der Datenvorverarbeitung über die Modellauswahl bis hin zur Evaluation. Bisher konzentrieren sich die Bewertungskriterien jedoch ausschließlich auf das Endergebnis, sodass die Qualität einzelner Zwischenschritte kaum erfasst wird.

Um dieses Defizit zu beheben, stellt das neue Evaluation Agent (EA) ein Beobachtungsinstrument vor, das die Entscheidungen der AutoML-Agenten ohne Eingriff in deren Ablauf bewertet. Das EA prüft jede Entscheidung anhand vier Kriterien: die Gültigkeit der Wahl, die Konsistenz der zugrunde liegenden Argumentation, potenzielle Qualitätsrisiken des Modells über die reine Genauigkeit hinaus und die Auswirkungen von Gegenfaktoren.

Vier Prototypenexperimente zeigen, dass das EA fehlerhafte Entscheidungen mit einem F1‑Score von 0,919 erkennt, Inkonsistenzen in der Argumentation unabhängig vom Endergebnis identifiziert und die nachgelagerten Leistungsänderungen – von –4,9 % bis +8,3 % – eindeutig den jeweiligen Agentenentscheidungen zuordnet. Diese Ergebnisse verdeutlichen, dass eine Entscheidungsebene‑Bewertung Fehler aufdeckt, die bei rein ergebnisorientierten Messungen verborgen bleiben.

Damit verschiebt sich die Bewertung von agentenbasierten AutoML-Systemen von einer reinen Ergebnisperspektive hin zu einer audit‑orientierten Sichtweise. Das vorgestellte Framework bildet die Grundlage für zuverlässige, nachvollziehbare und regelkonforme autonome ML‑Systeme.