SemKey: EEG‑zu‑Text ohne BLEU‑Falle – signalorientiertes Framework

Die Dekodierung natürlicher Sprache aus nicht‑invasiven EEG‑Signalen gilt als vielversprechende, aber bislang schwierige Aufgabe. Bestehende Modelle leiden unter drei Kernproblemen: einer semantischen Verzerrung, die zu generischen Vorlagen führt, einer Vernachlässigung der eigentlichen Signale, wodurch Halluzinationen auf sprachlichen Vorannahmen beruhen, und einer BLEU‑Falle, bei der häufige Stoppwörter die Bewertung künstlich anheben und die wahre semantische Treue verschleiern.

Um diese Hindernisse zu überwinden, stellt SemKey ein mehrstufiges, signalorientiertes Framework vor. Es nutzt vier getrennte semantische Ziele – Sentiment, Thema, Länge und Überraschung – um die Generierung zu steuern. Durch die Einbettung von semantischen Prompt‑Queries und EEG‑Embeddings als Key‑Value‑Paare wird das Modell gezwungen, ausschließlich auf die neuronalen Eingaben zu achten, wodurch die Gefahr von Halluzinationen stark reduziert wird.

Die Bewertung erfolgt nicht mehr über klassische Übersetzungsmetriken, sondern über N‑Way Retrieval Accuracy und den Fréchet‑Distance‑Test, die Diversität und Alignment präziser messen. Umfangreiche Experimente zeigen, dass SemKey Halluzinationen bei Rausch‑Inputs eliminiert und mit Stand‑der‑Art‑Leistungen in robusten Testprotokollen punktet. Der Code wird nach Annahme auf GitHub veröffentlicht: https://github.com/xmed-lab/SemKey.