FlashAdventure: Benchmark für GUI-Agenten bei kompletten Story-Arcs

In der Welt der KI-gesteuerten Benutzeroberflächen zeigen große Sprachmodelle (LLMs) großes Potenzial, wenn sie mit grafischen Interfaces interagieren. Besonders spannend sind Videospiele, weil sie eine breite Palette an Steuerungen und visuellen Darstellungen bieten. Unter ihnen stellen Abenteuer‑Spiele eine besondere Herausforderung dar, da sie komplexe, erzählerisch geprägte Interaktionen erfordern.

Aktuelle Spielbenchmarks sind jedoch oft einheitlich und prüfen selten, ob ein Agent einen gesamten Handlungsbogen abschließen kann. Um diese Lücke zu schließen, wurde FlashAdventure entwickelt – ein Set aus 34 Flash‑basierten Abenteuern, das gezielt die Vollständigkeit von Story‑Arcs testet und das sogenannte Observation‑Behavior‑Gap adressiert: die Schwierigkeit, frühere Spielinformationen zu behalten und darauf zu reagieren.

Zur Bewertung der Agenten wurde CUA‑as‑a‑Judge eingeführt, ein automatisierter Spiel‑Evaluator, der die Leistung objektiv misst. Parallel dazu präsentiert COAST ein neues Framework, das Langzeit‑Clue‑Memory nutzt, um die Planung und Ausführung sequenzieller Aufgaben zu verbessern.

Die Experimente zeigen, dass aktuelle GUI‑Agenten noch Schwierigkeiten haben, komplette Story‑Arcs zu bewältigen. COAST steigert jedoch die Erreichung von Meilensteinen, indem es das Observation‑Behavior‑Gap überbrückt. Dennoch bleibt die Leistungsdifferenz zu menschlichen Spielern deutlich, was deutlich macht, dass noch erheblicher Forschungsaufwand nötig ist, um diese Kluft zu verringern.

FlashAdventure liefert damit ein robustes Testfeld für die nächste Generation von KI‑Agenten und eröffnet neue Perspektiven für die Entwicklung von Systemen, die komplexe, narrative Aufgaben in digitalen Umgebungen meistern können.