Neues Framework CyIN verbessert multimodales Lernen bei fehlenden Modalitäten
Im Zeitalter der multimodalen KI strebt die Forschung danach, die Art und Weise zu imitieren, wie das menschliche Gehirn verschiedene Sinnesmodalitäten integriert. Bisher wurden die meisten Modelle jedoch ausschließlich mit perfekt gepaarten Daten trainiert, was in realen Anwendungen zu erheblichen Leistungsabfällen führt, wenn Modalitäten fehlen oder unregelmäßig auftreten.
