Audio‑Sprachmodelle meistern Zeitaufgaben dank framebasierter Interne Toolnutzung

Große Audio‑Sprachmodelle (Audio LMs) werden zunehmend für komplexe Hörverständnisaufgaben eingesetzt, stoßen jedoch bei zeitlich präzisen Aufgaben wie Wort‑Alignment und Sprecher‑Diarisation an ihre Grenzen. Der herkömmliche Ansatz, bei dem Zeitstempel als Text‑Token generiert werden, ist nicht nur rechenintensiv, sondern führt auch häufig zu Halluzinationen, besonders wenn die Audiodauer außerhalb des Trainingsbereichs liegt.

In der neuen Studie wird ein innovatives Verfahren vorgestellt: die „frame‑level internal tool use“. Dabei lernen die Modelle, ihre eigenen internen Audio‑Repräsentationen direkt für die zeitliche Lokalisierung zu nutzen. Ein leichtgewichtiges Vorhersagemodell, das aus einem binären Frame‑Classifier und einem neuartigen inhomogenen Poisson‑Prozess‑Loss besteht, ermöglicht die präzise Modellierung von Ereignisintensitäten.

Die Methode wurde in drei Kernaufgaben getestet – Wort‑Lokalisierung, Sprecher‑Diarisation und Ereignis‑Lokalisierung – und übertraf dabei sämtliche tokenbasierte Baselines. Besonders beeindruckend ist die mehr als 50‑fach schnellere Inferenz und die robuste Generalisierung auf Audiodauern, die außerhalb des Trainingsbereichs liegen. Während herkömmliche Modelle bei solchen Ausreißern stark nachlassen, bleibt die neue Technik hochpräzise.