MiniAppBench: Benchmark für interaktive HTML‑Apps von LLM‑Assistenten

Die neuesten Fortschritte in Large Language Models (LLMs) führen die Mensch‑KI‑Interaktion von einfachen Textantworten zu dynamischen, interaktiven HTML‑Anwendungen – den sogenannten MiniApps. Diese MiniApps verlangen von den Modellen nicht nur die Darstellung einer visuellen Oberfläche, sondern auch die Konstruktion von maßgeschneiderten Interaktionslogiken, die reale Prinzipien einhalten.

Aktuelle Benchmarks konzentrieren sich meist auf algorithmische Richtigkeit oder die Rekonstruktion statischer Layouts und vernachlässigen damit die entscheidenden Fähigkeiten, die für die neue MiniApp‑Paradigma nötig sind. Um diese Lücke zu schließen, wurde MiniAppBench als erstes umfassendes Benchmark‑Set entwickelt, das die Erzeugung von prinzipiengetriebenen, interaktiven Anwendungen bewertet.

MiniAppBench basiert auf einer realen Anwendung mit über 10 Millionen generierten Instanzen und fasst 500 Aufgaben aus sechs unterschiedlichen Domänen – darunter Spiele, Wissenschaft und Werkzeuge – zusammen. Diese Aufgaben spiegeln die Vielfalt und Komplexität echter MiniApps wider.

Zur Bewertung von offenen Interaktionen, bei denen keine eindeutige Goldstandard‑Antwort existiert, stellt MiniAppBench das MiniAppEval‑Framework vor. Durch Browser‑Automatisierung führt es menschlich wirkende Explorations‑Tests durch und beurteilt die Anwendungen systematisch in den Dimensionen Intention, Static und Dynamic.

Die ersten Experimente zeigen, dass aktuelle LLMs noch erhebliche Schwierigkeiten haben, hochwertige MiniApps zu generieren. Gleichzeitig demonstriert MiniAppEval eine hohe Übereinstimmung mit menschlichen Bewertungen und bietet damit einen verlässlichen Maßstab für zukünftige Forschungsarbeiten.

Der komplette Code und die Datensätze sind frei verfügbar unter github.com/MiniAppBench.