Neue Methode reduziert Latenz bei Mehrsprecher-Tracking mit kurzen Embeddings

Forscher haben einen neuen Ansatz entwickelt, der die Latenz beim Tracking mehrerer Sprecher drastisch senkt. Durch die gezielte Nutzung von kurzen Sprecher‑Embeddings, die in Echtzeit aus kurzen Audiosegmenten extrahiert werden, kann das System die Identität der Sprecher schneller und genauer zuordnen.

Der Schlüssel liegt in der Kombination von Knowledge‑Distillation‑Training und Beamforming. Während die Beamforming‑Technik die Überlappung von Stimmen reduziert, lernt das distillierte Modell, aus nur wenigen Sekunden Sprachmaterial zuverlässige Embeddings zu generieren. Zusätzlich wird die Identitätszuordnung in festen Blockgrößen durchgeführt, was die Reaktionszeit weiter verkürzt.

Ergebnisse aus ersten Tests zeigen, dass die neuen Modelle besonders bei stark überlappenden Gesprächen robuster sind als herkömmliche Verfahren. Dennoch bleibt die gleichzeitige Erkennung mehrerer Sprecher eine Herausforderung, die in zukünftigen Arbeiten weiter verbessert werden soll.