Fusion von Bild- und Textdaten: Genauigkeit vs. Latenz bei multimodalen Modellen

Moderne Lernmodelle kombinieren häufig mehrere Datenströme, um Entscheidungen präziser zu treffen. In der multimodalen KI ist die Wahl der Fusionsstrategie entscheidend, denn sie beeinflusst sowohl die Genauigkeit als auch die Latenz. In einer aktuellen Studie wurde ein hybrides BERT‑Vision‑Framework eingesetzt, das Bild- und Textinformationen zusammenführt. Dabei wurden zwei unterschiedliche Bildnetzwerke – MobileNetV2 und ViT – verwendet.

Für jedes Bildnetzwerk wurden drei Varianten entwickelt, die die Daten zu unterschiedlichen Stufen des Modells integrieren: früh (early), mittel (intermediate) und spät (late). Die Modelle wurden auf dem CMU MOSI‑Datensatz getestet und ihre Inferenzzeiten wurden auf einer NVIDIA Jetson Orin AGX gemessen.

Die Ergebnisse zeigen klar: Späte Fusion liefert die höchste Genauigkeit, während frühe Fusion die geringste Latenz aufweist. Die mittlere Variante liegt dazwischen. Diese Erkenntnisse verdeutlichen den klassischen Kompromiss zwischen Performance und Geschwindigkeit: Je früher die Daten zusammengeführt werden, desto schneller läuft das Modell – allerdings zu Lasten der Präzision.

Die Arbeit liefert somit wertvolle Leitlinien für Entwickler, die multimodale Systeme in ressourcenbeschränkten Umgebungen einsetzen wollen, und unterstreicht die Bedeutung einer gezielten Fusionsstrategie für die Optimierung von Genauigkeit und Echtzeitfähigkeit.