Neue Studie zeigt, wie LLMs VirtualHome meistern – SSC steigert Leistung

In der Welt der Embodied AI ist es entscheidend, dass Agenten Ziele verstehen, Aktionen planen und Aufgaben in simulierten Umgebungen ausführen können. Eine neue Untersuchung nutzt den VirtualHome-Benchmark zusammen mit dem Embodied Agent Interface (EAI), um die Leistungsfähigkeit von Large Language Models (LLMs) in diesem Kontext zu prüfen.

Die Studie vergleicht zwei 7‑Billionen‑Parameter‑Modelle – OPENPANGU‑7B und QWEN2.5‑7B – anhand vier Kernaufgaben: Zielinterpretation, Aktionssequenzierung, Unterzielzerlegung und Übergangsmodellierung. Beide Modelle werden dabei auf ihre Fähigkeit getestet, strukturierte Handlungspläne zu generieren und komplexe Aufgaben zu lösen.

Ein zentrales Highlight ist die Einführung von Structured Self‑Consistency (SSC), einer verbesserten Decodierungsstrategie. SSC kombiniert mehrere Sampling‑Versuche mit domänenspezifischen Abstimmungsmechanismen, um die Qualität strukturierter Ausgaben zu erhöhen. Die experimentellen Ergebnisse zeigen, dass SSC die Leistung beider Modelle deutlich steigert.

Die Analyse offenbart, dass OPENPANGU‑7B besonders stark in hierarchischer Planung ist, während QWEN2.5‑7B Vorteile bei Aufgaben auf Aktions‑Ebene bietet. Diese komplementären Stärken liefern wertvolle Einblicke für die Weiterentwicklung von Embodied‑AI‑Systemen und zeigen, wie unterschiedliche Modellarchitekturen gezielt eingesetzt werden können.