ELN-Embedding senkt Fehlerquote bei persischer Spracherkennung

Automatische Spracherkennungssysteme (ASR) verlieren in lauten Umgebungen stark an Genauigkeit – ein Problem, das bei ressourcenarmen Sprachen wie Persisch besonders gravierend ist. Selbst hochentwickelte Modelle wie Whisper kämpfen, wenn das Signal‑Rausch‑Verhältnis (SNR) abnimmt.

In einer neuen Studie wurde ein robustes Fehlerkorrektur‑Framework vorgestellt, das mehrere Hypothesen kombiniert und auf Rausch‑sensitiven Modellen basiert. Für laute persische Sprachaufnahmen wurden fünf beste Hypothesen aus einem angepassten Whisper‑Large‑Decoder generiert.

Das zentrale Innovationselement ist der Error Level Noise (ELN), ein Merkmal, das semantische und token‑basierte Unstimmigkeiten zwischen den Hypothesen erfasst. ELN quantifiziert die sprachlichen Verzerrungen, die durch Rauschen entstehen, und liefert so eine direkte Messgröße für die Unsicherheit. Dadurch kann ein großes Sprachmodell (LLM) die Zuverlässigkeit jeder Hypothese besser bewerten und gezielt korrigieren.

Es wurden drei Modelle getestet: ein unverändertes LLaMA‑2‑7B, ein feinabgestimmtes Modell, das ausschließlich auf Text‑Hypothesen trainiert wurde, und ein Rausch‑bedingtes Modell, das ELN‑Einbettungen auf Satz‑ und Wortebene integriert. Die Ergebnisse zeigen, dass das ELN‑bedingte Modell die Wortfehlerrate (WER) deutlich senkt. Auf dem anspruchsvollen Mixed‑Noise‑Testset reduziert das Fine‑Tuned + ELN‑Modell die WER von 31,10 % (Raw Whisper) auf 24,84 %, was den reinen Fine‑Tuned‑Baseline von 30,79 % deutlich übertrifft. Im Gegensatz dazu stieg die WER des ursprünglichen LLaMA‑2‑7B auf 64,58 % an.

Diese Erkenntnisse unterstreichen, wie gezielte Rausch‑repräsentationen in Kombination mit großen Sprachmodellen die Robustheit von ASR-Systemen in ressourcenarmen Sprachen nachhaltig verbessern können.