ConSensus: Mehrere Agenten verbessern multimodale Sensorik um 7,1 %

In der Forschung zu großen Sprachmodellen (LLMs) gewinnt die Einbindung von Sensordaten zunehmend an Bedeutung, um menschliche Physiologie und die physische Welt präzise zu erfassen. Ein zentrales Problem bleibt jedoch die korrekte Interpretation heterogener multimodaler Sensordaten, da monolithische LLMs oft Schwierigkeiten haben, über verschiedene Modalitäten hinweg konsistent zu denken. Dadurch entstehen unvollständige Interpretationen und eine starke Abhängigkeit von Vorwissen.

Die neue Methode ConSensus löst dieses Problem, indem sie multimodale Aufgaben in spezialisierte, modalitätsbewusste Agenten aufteilt – ohne zusätzliche Trainingsschritte. Für die Zusammenführung der Agenteninterpretationen wird ein hybrides Fusionsverfahren eingesetzt, das semantische Aggregation (für übergreifende Kontextverständnis) mit statistischem Konsens (für Robustheit bei Rauschen und fehlenden Daten) kombiniert. Diese Kombination überwindet die jeweiligen Schwachstellen einzelner Ansätze und liefert zuverlässige Ergebnisse.

In fünf unterschiedlichen Benchmark‑Tests zeigte ConSensus eine durchschnittliche Genauigkeitssteigerung von 7,1 % gegenüber dem Einzelagenten‑Baseline. Zudem erreicht die Methode die gleiche oder bessere Leistung als iterative Multi‑Agent‑Debatten, während sie die durchschnittlichen Fusions‑Token‑Kosten um das 12,7‑Fache reduziert – dank eines einzigen Runden‑Hybrid‑Fusion‑Protokolls. Damit bietet ConSensus eine robuste und effiziente Lösung für reale multimodale Sensortätigkeiten.