ModalImmune: Training-Framework stärkt multimodale Systeme gegen Modality-Ausfall

Multimodale KI‑Modelle sind in der Praxis oft anfällig, wenn ein oder mehrere Eingangs­kanäle plötzlich fehlen oder stark verfälscht werden. Das führt zu unzuverlässigen Vorhersagen und gefährdet die Einsatzfähigkeit in realen Umgebungen.

Mit ModalImmune wird dieses Risiko gezielt adressiert. Das neue Trainingsframework führt kontrollierte „Modality‑Collapse“-Phasen ein, in denen ausgewählte Modalitäten während des Lernens absichtlich reduziert werden. Dadurch lernt das Modell robuste, gemeinsame Repräsentationen, die auch bei Ausfall oder Beschädigung einzelner Kanäle stabil bleiben. Die Technik kombiniert einen spektral‑adaptiven Regularizer, einen informationsgesteuerten Controller für gezielte Eingriffe, eine krümmungs‑sensitiv maskierte Gradienten­optimierung zur Stabilisierung der destruktiven Updates sowie einen zertifizierten Neumann‑gekürzten Hyper‑Gradient‑Ansatz zur automatischen Meta‑Parameter‑Anpassung.

Tests auf etablierten multimodalen Benchmarks zeigen, dass ModalImmune die Widerstandsfähigkeit gegenüber Modality‑Entfernung und -Störung deutlich erhöht, ohne die Konvergenz‑Stabilität oder die Rekonstruktionsfähigkeit zu beeinträchtigen. Das Ergebnis ist ein zuverlässigeres Modell, das in anspruchsvollen Einsatzszenarien besser performt.