Lumine: Offene Rezeptur für Allzweck-Agenten in 3D-Welten

Lumine ist die erste offene Rezeptur, die es ermöglicht, Allzweck-Agenten zu entwickeln, die in Echtzeit komplexe, mehrstündige Missionen in herausfordernden 3D-Open-World-Umgebungen bewältigen können. Das System nutzt ein vision‑language‑Modell, das Rohpixel mit einer Frequenz von 5 Hz verarbeitet und präzise Tastatur‑ und Mausaktionen mit 30 Hz erzeugt. Dabei ruft es das logische Denken nur dann auf, wenn es wirklich nötig ist.

In der ersten Testumgebung, dem beliebten Spiel Genshin Impact, schaffte Lumine die komplette fünf‑Stunden‑Mondstadt‑Hauptgeschichte mit einer Effizienz, die menschlichen Spielern entspricht. Der Agent folgt dabei natürlichen Sprachbefehlen und kann Aufgaben aus den Bereichen Erkundung, Kampf, Rätsel, Sammlungen und NPC‑Interaktion in 3D‑Welten sowie in 2D‑GUI‑Manipulationen ausführen.

Darüber hinaus demonstriert Lumine eine starke Zero‑Shot‑Generalisation. Ohne weitere Feinabstimmung bewältigt es 100‑Minuten‑Missionen in Wuthering Waves und den gesamten ersten Kapitel von Honkai: Star Rail. Diese Ergebnisse unterstreichen die Vielseitigkeit des Ansatzes und markieren einen konkreten Fortschritt in Richtung generalistischer Agenten für offene, dynamische Umgebungen.