LLMs können jetzt komplette GUI-Software bewerten – neues RealDevWorld-Framework

Mit den neuesten Fortschritten in der KI entwickeln große Sprachmodelle (LLMs) nicht mehr nur einzelne Code‑Snippets, sondern komplette Anwendungen mit grafischen Benutzeroberflächen, interaktiven Logiken und dynamischen Verhaltensweisen. Trotz dieser Fortschritte bleiben die bestehenden Benchmarks hinterher, weil sie meist nur statische Prüfungen oder einfache Pass/Fail‑Skripte nutzen und damit die echte Benutzererfahrung vernachlässigen.

Um diese Lücke zu schließen, wurde das neue RealDevWorld‑Framework vorgestellt. Es kombiniert zwei zentrale Komponenten: RealDevBench, eine Sammlung von 194 offenen Software‑Engineering‑Aufgaben aus verschiedenen Bereichen, die multimodale Elemente enthalten, und AppEvalPilot, ein Agent‑als‑Judge‑System, das realistische GUI‑Interaktionen simuliert, um die Software ganzheitlich zu bewerten.

AppEvalPilot führt automatisierte Klick‑ und Interaktionssequenzen durch, die ein echter Nutzer ausführen würde. Dabei werden funktionale Korrektheit, visuelle Treue und Laufzeitverhalten gleichzeitig geprüft. Das System liefert dabei detailliertes, aufgabenbezogenes Feedback, das weit über ein einfaches Erfolg/Fehlschlag‑Ergebnis hinausgeht.

Erste Tests zeigen, dass RealDevWorld eine effektive und automatisierte Bewertung von LLM‑generierten, produktionsbereiten Repositories ermöglicht. Die gewonnenen Erkenntnisse bieten Entwicklern und Forschern ein präziseres Werkzeug, um die Qualität von KI‑generierter Software in realen Einsatzszenarien zu messen.