Robuste Lernmethoden: Konsistenz‑gesteuerter Transfer gegen Unsicherheit

In der multimodalen KI‑Forschung stellen unsichere Daten, fehlerhafte Labels und heterogene Modalitäten häufig ein großes Hindernis dar – besonders in der Mensch‑Computer‑Interaktion, wo die Qualität der Aufnahmen und die Konsistenz der Annotationen stark variieren.

Die vorliegende Arbeit schlägt einen neuen Ansatz vor: Durch konsistenz‑gesteuerten Transfer zwischen Modalitäten werden die unterschiedlichen Daten in einen gemeinsamen latenten Raum projiziert. Dieser Ansatz reduziert Modalitätslücken, deckt strukturelle Zusammenhänge auf und ermöglicht eine robuste Schätzung von Unsicherheiten sowie stabile Feature‑Lernprozesse.

Darüber hinaus werden Strategien entwickelt, die die semantische Robustheit erhöhen, die Daten­effizienz steigern und die Auswirkungen von Rauschen sowie unvollständiger Supervision minimieren – und das alles ohne den Bedarf an umfangreichen, hochwertigen Annotationsdatensätzen.

Experimentelle Tests an multimodalen Affekterkennungs‑Benchmarks zeigen, dass der konsistenz‑gesteuerte Transfer die Modellstabilität, die diskriminative Leistungsfähigkeit und die Widerstandsfähigkeit gegenüber verrauschten oder unvollständigen Labels deutlich verbessert. Analysen des latenten Raums verdeutlichen, dass die Methode selbst unter schwierigen Bedingungen zuverlässige cross‑modale Strukturen erfasst.

Insgesamt liefert die Arbeit einen einheitlichen Rahmen für resilientes multimodales Lernen, der Unsicherheitsmodellierung, semantische Ausrichtung und daten­effiziente Supervision miteinander verbindet.