SynBrain verbessert fMRI‑Synthese aus visuellen Stimuli mit probabilistischem Lernen

Die Umwandlung von Bildreizen in Hirnaktivität ist ein zentrales Problem der Computational Neuroscience. Dabei erzeugt dieselbe visuelle Eingabe bei verschiedenen Versuchen, Kontexten und Probanden unterschiedliche fMRI‑Signale – ein klassisches One‑to‑Many‑Problem. Traditionelle deterministische Modelle können diese biologische Variabilität nicht gleichzeitig erfassen und die zugrunde liegende funktionelle Konsistenz, die die Repräsentation des Stimulus trägt, vernachlässigen.

SynBrain ist ein generatives Framework, das diese Herausforderung adressiert. Es kombiniert zwei zentrale Bausteine: BrainVAE modelliert neuronale Repräsentationen als kontinuierliche Wahrscheinlichkeitsverteilungen und erhält gleichzeitig die funktionelle Konsistenz durch visuelle semantische Einschränkungen. Der Semantic‑to‑Neural‑Mapper fungiert als semantische Übertragungsroute und projiziert visuelle Semantik in den neuronalen Antwortraum, um hochpräzise fMRI‑Synthesen zu ermöglichen.

Experimentelle Ergebnisse zeigen, dass SynBrain die führenden Methoden bei der subject‑specificen Visual‑to‑fMRI‑Kodierung übertrifft. Darüber hinaus passt es sich mit wenigen Trainingsbeispielen an neue Probanden an und erzeugt qualitativ hochwertige fMRI‑Signale, die die Leistung bei datenarmen fMRI‑to‑Image‑Decodierungsaufgaben signifikant steigern.

Ein weiterer Mehrwert von SynBrain ist die Aufdeckung funktioneller Konsistenz über Versuche und Probanden hinweg. Durch die probabilistische Darstellung werden sowohl die individuellen Unterschiede als auch die gemeinsamen Muster der Hirnantworten sichtbar, was neue Einblicke in die neuronale Verarbeitung visueller Reize ermöglicht.