OmniGAIA: Der Weg zu nativen, omni-modal AI-Agenten

Die menschliche Intelligenz verbindet von Natur aus omni-modal Wahrnehmung – Vision, Audio und Sprache – mit komplexem Denken und Werkzeuggebrauch, um mit der Welt zu interagieren. Aktuelle multimodale Sprachmodelle beschränken sich jedoch meist auf bi-modale Interaktionen, etwa Bild‑zu‑Sprache, und fehlen die einheitlichen kognitiven Fähigkeiten, die für generelle KI‑Assistenten nötig sind.

Um diese Lücke zu schließen, wurde OmniGAIA als umfassendes Benchmark entwickelt. Es bewertet Agenten, die über Video, Audio und Bild hinweg tiefgreifende, mehrstufige Fragen beantworten und dabei mehrere Tool‑Aufrufe in einer Unterhaltung ausführen müssen. Durch einen neuartigen omni-modal Event‑Graph-Ansatz werden komplexe, mehrhoppige Anfragen aus realen Daten generiert, die Querschnitts‑Reasoning und die Integration externer Werkzeuge erfordern.

Parallel dazu präsentiert das Team OmniAtlas, einen nativen omni-modal Foundation‑Agenten, der unter einem tool‑integrierten Reasoning‑Paradigma arbeitet und aktiv omni-modal Wahrnehmung nutzt. Die Agenten werden mit einer hindsight‑gesteuerten Baum‑Explorationsstrategie trainiert und mit OmniDPO für feinkörnige Fehlerkorrektur verfeinert, wodurch die Tool‑Nutzung bestehender Open‑Source‑Modelle deutlich verbessert wird.

Dieses Werk markiert einen bedeutenden Schritt in Richtung der nächsten Generation von nativen, omni-modal KI‑Assistenten, die in realen Szenarien eingesetzt werden können.