Neuralnetz entschlüsselt Gehirnimpulse in Sprache – EEG-basierte Spracherkennung

In einer bahnbrechenden Studie zeigen Forscher, dass neuronale Netze Gehirnaktivität in gesprochene Sprache übersetzen können. Dabei wurden EEG-Aufzeichnungen von Probanden genutzt, die während des Experiments natürliches Sprechen hörten.

Das Modell wurde mit einem kontrastiven CLIP-Verlust trainiert, um die aus EEG gewonnenen Embeddings mit denen eines vortrainierten, transformerbasierten Sprachmodells abzugleichen. So entsteht eine direkte Verbindung zwischen Gehirnimpulsen und akustischen Darstellungen.

Aufbauend auf dem führenden EEG‑Decoder von Meta wurden drei architektonische Verbesserungen eingeführt: (i) subjektenspezifische Aufmerksamkeits‑Schichten, die die Wortfehlerrate um 0,15 % senken; (ii) personalisierte räumliche Aufmerksamkeitsmechanismen, die die Fehlerquote um 0,45 % reduzieren; und (iii) ein Dual‑Path‑RNN mit Aufmerksamkeitsmodul, das die Leistung um 1,87 % verschlechtert.

Die beiden personalisierten Anpassungen demonstrieren, dass maßgeschneiderte Architekturen die Genauigkeit der Gehirn‑zu‑Sprache‑Übersetzung deutlich verbessern. Diese Fortschritte eröffnen neue Möglichkeiten für Brain‑Computer‑Interfaces und die Entwicklung von assistiven Technologien, die auf individuellen Gehirnsignalen basieren.