FastWhisper: Schnellere und genauere Spracherkennung dank adaptiver Selbstdistillation

In der Welt der automatischen Spracherkennung hat das neue Modell FastWhisper einen bedeutenden Fortschritt erzielt. Durch die Anwendung einer adaptiven Selbstdistillation, die die Abhängigkeit vom Lehrmodell reduziert, konnte ein kompakteres Modell entstehen, das nicht nur schneller, sondern auch genauer arbeitet.

Traditionelle Knowledge‑Distillation‑Methoden trainieren das Schülermodell, indem es die Vorhersageverteilung des Lehrmodells übernimmt. Dabei kann das Schülermodell jedoch die Schwächen des Lehrmodells übernehmen, was die Generalisierungsfähigkeit einschränkt. FastWhisper begegnet diesem Problem, indem es die Abhängigkeit vom Lehrmodell dynamisch verringert und gleichzeitig die Selbsttrainingskapazität des Schülermodells stärkt.

Die Technik, die als Adaptive Self‑Knowledge Distillation (ASKD) bezeichnet wird, passt die Distillation während des Trainings an und fördert die Eigenständigkeit des Modells. Dadurch wird die Qualität der erlernten Repräsentationen verbessert und die Fehleranfälligkeit reduziert.

In praktischen Tests hat FastWhisper einen Wortfehlerrate (WER) von 1,07 % niedriger als das ursprüngliche Whisper-Modell erzielt und die Inferenzzeit um das Fünffache verkürzt. Diese Kombination aus höherer Genauigkeit und deutlich schnellerer Verarbeitung macht FastWhisper zu einer vielversprechenden Lösung für Echtzeit‑Spracherkennungsanwendungen.