Soft-Cluster-Anker verbessern selbstüberwachtes Sprachlernen in JEPA

Die neueste Forschung im Bereich der selbstüberwachten Sprachrepräsentationen zeigt, dass Joint Embedding Predictive Architectures (JEPA) zwar vielversprechend sind, aber ohne gezielte Regulierung zu einer Kollaps der Repräsentationen neigen. Um dieses Problem zu lösen, wurde GMM‑Anchored JEPA entwickelt, das einen einmalig auf Log‑Mel‑Spektrogrammen trainierten Gaußschen Mischungsmodell (GMM) nutzt. Die dabei erhaltenen weichen Posterior‑Werte werden als feste Hilfstargets während des gesamten Trainings eingesetzt.

Ein abnehmendes Supervisions‑Schema sorgt dafür, dass die GMM‑Regulierung in den frühen Trainingsphasen dominiert und später allmählich dem JEPA‑Ziel weicht. Im Gegensatz zu Modellen wie HuBERT und WavLM, die wiederholte Re‑Clustering‑Schritte erfordern, erfolgt bei GMM‑Anchored JEPA die Cluster‑Zuweisung nur einmal – und zwar mit weichen, nicht harten Zuordnungen.

Die Ergebnisse sind beeindruckend: Auf rund 50.000 Stunden Sprachdaten verbesserte sich die Wortfehlerrate (WER) bei der automatischen Spracherkennung von 33,22 % auf 28,68 %. Auch bei der Emotionserkennung stieg die Genauigkeit von 65,46 % auf 67,76 %, und bei der Slot‑Filling‑Aufgabe erreichte das Modell einen F1‑Score von 64,7 % gegenüber 59,1 % des WavLM‑ähnlichen Baselines. Eine Cluster‑Analyse zeigte, dass die GMM‑geankerten Repräsentationen bis zu 98 % Entropie erreichen, während das WavLM‑Modell lediglich 31 % erreichte – ein deutlich gleichmäßigeres Cluster‑Nutzungsschema.

Der komplette Code ist öffentlich zugänglich unter https://github.com/gioannides/clustering-anchored-jepa.