Fehler in Web-Agenten-Pipelines erkennen: Feingranulare Analyse liefert neue Erkenntnisse

Web‑Agenten, die auf großen Sprachmodellen basieren, sind in der Lage, komplexe, mehrstufige Aufgaben in dynamischen Webumgebungen selbstständig zu erledigen. In bisherigen Studien liegt der Fokus jedoch fast ausschließlich auf dem Gesamterfolg, während Zwischenfehler kaum berücksichtigt werden. Dadurch bleiben wichtige Fehlerursachen unentdeckt und die systematische Verbesserung der Agenten wird erschwert.

In dieser Arbeit wird ein Überblick über bestehende Benchmarks gegeben, der deutlich macht, dass es an präzisen Diagnosewerkzeugen fehlt. Darauf aufbauend wird ein modularer Evaluationsrahmen vorgestellt, der die Agenten-Pipeline in interpretierbare Phasen zerlegt. Dadurch lässt sich jeder Schritt detailliert analysieren und Fehlerquellen gezielt identifizieren.

Durch die Anwendung des SeeAct‑Frameworks auf das Mind2Web‑Datenset demonstriert die Studie, wie die neue Methode Schwachstellen aufdeckt, die herkömmliche Metriken übersehen. Diese Erkenntnisse ebnen den Weg für robustere und generalisierbarere Web‑Agenten, die zuverlässig in komplexen Online‑Umgebungen agieren können.