AHELM: Neues Benchmark für Audio‑Sprachmodelle bewertet 10 Kernaspekte

Die Forschung zu Audio‑Language‑Models (ALMs) hat bisher an einheitlichen Messgrößen gelitten. Viele Tests konzentrieren sich nur auf wenige Fähigkeiten und vernachlässigen wichtige Aspekte wie Fairness oder Sicherheit. Mit dem neuen Benchmark AHELM soll das Problem behoben werden.

AHELM bündelt eine Vielzahl von Datensätzen, darunter die beiden neuen synthetischen Audio‑Text‑Korpora PARADE, die die Vermeidung von Stereotypen prüfen, und CoRe‑Bench, das das logische Denken über mehrfache Gesprächs‑Audio‑Fragestellungen misst. Insgesamt werden zehn entscheidende Dimensionen erfasst: Audio‑Wahrnehmung, Wissen, Logik, Emotionserkennung, Bias, Fairness, Mehrsprachigkeit, Robustheit, Toxizität und Sicherheit.

Um faire Vergleiche zu ermöglichen, standardisiert AHELM die Prompt‑Formate, Inferenz‑Parameter und Bewertungskriterien. In einer ersten Evaluation wurden 14 Open‑Weight‑ und 14 API‑basierte ALMs sowie drei einfache Baselines getestet. Gemini 2.5 Pro belegte fünf der zehn Kategorien an der Spitze, zeigte jedoch bei ASR‑Aufgaben eine signifikante Gruppen‑Ungleichheit. Die meisten anderen Modelle wiesen keine derartigen Verzerrungen auf.