SIMA 2: Vielseitiger Agent für 3D‑Virtual Worlds

Ein neues Forschungsprojekt präsentiert SIMA 2, einen generalistischen, verkörperten Agenten, der in einer breiten Palette von 3‑D‑Virtuellen Welten agieren kann. Der Agent basiert auf dem Gemini‑Fundamentmodell und markiert einen bedeutenden Fortschritt in der aktiven, zielgerichteten Interaktion innerhalb von verkörperten Umgebungen.

Im Gegensatz zu früheren Versionen, die nur einfache Sprachbefehle verarbeiten konnten, arbeitet SIMA 2 als interaktiver Partner. Er kann über hochrangige Ziele nachdenken, mit dem Nutzer dialogieren und komplexe Anweisungen verarbeiten, die sowohl sprachlich als auch bildbasiert sind. Diese Fähigkeiten ermöglichen es ihm, Aufgaben zu planen, Strategien zu entwickeln und Entscheidungen in Echtzeit zu treffen.

In einer Vielzahl von Spielen hat SIMA 2 die Leistung von Menschen deutlich nachgeahmt und zeigt dabei eine robuste Generalisierung auf bislang unbekannte Umgebungen. Der Agent behält dabei die Kernlogik des Basismodells bei und demonstriert gleichzeitig eine bemerkenswerte Anpassungsfähigkeit an neue Szenarien.

Ein besonders innovativer Aspekt ist die Möglichkeit zur offenen Selbstverbesserung. Durch die Nutzung von Gemini kann SIMA 2 eigenständig Aufgaben generieren, Belohnungen definieren und daraus neue Fähigkeiten erlernen – alles aus dem Nichts in einer neuen Umgebung. Diese Fähigkeit legt den Grundstein für die Entwicklung von Agenten, die kontinuierlich lernen und sich sowohl in virtuellen als auch in realen Welten weiterentwickeln können.