S-MoE steigert ASR & ST um 6,35 %: Effizientes Multi-Task Speech‑to‑Text
In der aktuellen Forschung wird das klassische Hard‑Parameter‑Sharing oft als Hemmschuh für die Leistung mehrerer Aufgaben angesehen, da es zu Interferenzen zwischen den Modellen führt. Um dieses Problem zu lösen, wurde ein neues Verfahren namens Supervised Mixture of Experts (S‑MoE) vorgestellt. Im Gegensatz zu herkömmlichen Mixture‑of‑Experts‑Modellen benötigt S‑MoE keine aufwändigen Gating‑Funktionen; stattdessen werden spezielle Leit‑Tokens eingesetzt, die jede Aufgabe gezielt an ihren jeweiligen Experten weiterleiten.
