HyFI: Hyperbolische Feature-Interpolation revolutioniert Gehirn-Bild-Abgleich

Die neueste Veröffentlichung auf arXiv (2603.22721v1) präsentiert HyFI – ein innovatives Verfahren, das die Kluft zwischen Gehirnsignalen und visuellen Merkmalen überbrückt. Durch die Nutzung der hyperbolischen Geometrie gelingt es, die unterschiedlichen Informationsniveaus von Gehirn- und Bilddaten zu berücksichtigen und gleichzeitig die stark miteinander verflochtenen semantischen und perceptuellen Features zu entwirren.

Traditionelle Ansätze verbinden neuronale Aktivität mit aus vortrainierten Vision-Modellen extrahierten Merkmalen, vernachlässigen jedoch zwei entscheidende Aspekte: Erstens die Modality‑Gap, also die strukturelle Diskrepanz zwischen Gehirn- und Bildrepräsentationen; zweitens die hohe Entanglement‑Rate dieser Features in den neuronalen Signalen. HyFI adressiert diese Probleme, indem es entlang hyperbolischer Geodäten interpoliert, die sich natürlicherweise zum Ursprung krümmen – dort liegt die geringere Repräsentationskapazität.

Durch diese Interpolation werden semantische und perceptuelle Informationen effizient zusammengeführt und komprimiert, was die begrenzte Ausdrucksfähigkeit der Gehirnsignale widerspiegelt. Das Ergebnis: ein deutlich verbesserter Abgleich zwischen Gehirn- und Bildfeatures. In Zero‑Shot Brain‑to‑Image Retrieval Tests übertrifft HyFI bestehende Methoden um bis zu 17,3 % Top‑1‑Genauigkeit bei THINGS‑EEG und 9,1 % bei THINGS‑MEG – ein klarer Meilenstein in der KI‑gestützten Bildrekonstruktion aus Gehirnsignalen.