Neuer OMG-Agent revolutioniert fehlende Modalitäten in multimodalen Systemen

Die Zuverlässigkeit multimodaler Systeme wird stark durch Datenunvollständigkeit eingeschränkt. Fehlende Modalitäten führen zu ungenauen Vorhersagen und beeinträchtigen die Gesamtleistung.

Aktuelle Rekonstruktionsansätze stoßen dabei an klare Grenzen. Parametrische oder generative Modelle neigen dazu, unrealistische Inhalte zu erzeugen, weil sie zu stark auf interne Erinnerungen vertrauen. Auf der anderen Seite sind retrieval‑gestützte Systeme oft zu starr, da sie sich zu sehr auf feste Abrufmechanismen verlassen. Ein zentrales Problem ist die sogenannte Semantic‑Detail‑Entanglement‑Konfliktstruktur, bei der logisches Denken und Signal‑Synthese ineinander übergehen und die Genauigkeit mindern.

Der neue OMG‑Agent (Omni‑Modality Generation Agent) löst dieses Dilemma, indem er die Aufgabe in drei klar getrennte, aber zusammenhängende Phasen aufteilt. Zunächst erstellt ein MLLM‑gestützter Semantic Planner einen deterministischen, strukturierten Plan, der die Eingabe eindeutig interpretiert. Anschließend greift ein nicht‑parametrischer Evidence Retriever externe Wissensquellen an, um die abstrakten Semantik‑Elemente mit konkreten Belegen zu untermauern. Schließlich nutzt ein Retrieval‑Injected Executor die gewonnenen Belege als flexible Feature‑Prompts, um die fehlenden Modalitäten hochpräzise zu synthetisieren und die typische Rigideität zu überwinden.

In umfangreichen Benchmark‑Tests übertrifft der OMG‑Agent die aktuellen Spitzenreiter konsequent. Besonders beeindruckend ist die Robustheit bei extremen Datenverlusten: bei 70 % fehlenden Modalitäten erzielt der Agent einen 2,6‑Punkte‑Gewinn auf dem CMU‑MOSI‑Datensatz. Diese Ergebnisse zeigen, dass ein dynamischer, agentenbasierter Ansatz die Zukunft der fehlenden Modality‑Generierung darstellt.