Neues Verfahren rekonstruiert Gesten aus fMRI-Signalen – Duale Gehirn-Decodierung

Wissenschaftler haben ein innovatives Verfahren namens fMRI2GES entwickelt, das es ermöglicht, Gesten, die mit gesprochenen Stimuli verbunden sind, direkt aus fMRI-Aufnahmen zu rekonstruieren. Das neue System nutzt eine Duale Gehirn-Decodierung, um die fehlenden gepaarten Daten zwischen Gehirn, Sprache und Gesten zu kompensieren.

Traditionell konzentrierten sich Studien auf die Rekonstruktion von Bildern oder Texten aus Gehirnaktivität. fMRI2GES geht einen Schritt weiter, indem es die komplexe Beziehung zwischen Sprachreizen und den zugehörigen Gesten erfasst. Durch die Kombination eines fMRI‑zu‑Text-Modells, eines Text‑zu‑Gesten-Modells mit gepaarten Daten und eines fMRI‑zu‑Gesten-Modells mit unpaarten Daten schafft das Verfahren zwei parallele Rekonstruktionspfade.

Die beiden Ausgaben werden anschließend explizit ausgerichtet und das Modell in einer selbstüberwachten Weise trainiert. Das Ergebnis ist die Fähigkeit, aus reinen fMRI‑Aufnahmen expressive Gesten zu generieren. Zusätzlich untersuchte die Studie, wie Signale aus verschiedenen Regionen des Cortex die Qualität der Gesten beeinflussen.

Diese Fortschritte eröffnen neue Perspektiven in der Neurowissenschaft und der kognitiven Psychologie, indem sie ein tieferes Verständnis dafür liefern, wie das Gehirn Gesten in Verbindung mit Sprache verarbeitet und reproduziert.