Benchmarking von ASR-Systemen für indische Landwirtschafts-Sprachen

Die Digitalisierung landwirtschaftlicher Beratungsdienste in Indien erfordert leistungsfähige automatische Spracherkennungssysteme (ASR), die fachspezifische Terminologie in mehreren indischen Sprachen zuverlässig transkribieren können. In einer neuen Studie wird ein Benchmarking‑Framework vorgestellt, das die Leistung von ASR‑Modellen in agrarwirtschaftlichen Kontexten für Hindi, Telugu und Odia bewertet.

Zur Messung der Genauigkeit wurden neben dem klassischen Word Error Rate (WER) neue Metriken eingeführt: der Agriculture Weighted Word Error Rate (AWWER) und ein domänenspezifisches Nutzen‑Scoring. Die Autoren haben 10 934 Feldaufnahmen analysiert, die jeweils von bis zu zehn ASR‑Modellen transkribiert wurden. Dadurch konnten systematische Unterschiede zwischen Sprachen und Modellen ermittelt werden.

Die Ergebnisse zeigen, dass Hindi die beste Gesamtleistung erzielt (WER = 16,2 %). Odia stellt die größte Herausforderung dar, wobei der niedrigste WER von 35,1 % nur mit Sprecher‑Diarisation erreicht wurde. Die Studie beleuchtet die typischen Audio‑Qualitätsprobleme realer Feldaufnahmen und demonstriert, dass die Kombination aus Sprecher‑Diarisation und Auswahl des besten Sprechers die Fehlerquote bei Mehrsprecher‑Aufnahmen um bis zu 66 % senken kann, abhängig vom Anteil mehrerer Sprecher.

Darüber hinaus identifiziert die Arbeit wiederkehrende Fehlermuster in landwirtschaftlicher Terminologie und gibt praxisnahe Empfehlungen zur Verbesserung von ASR‑Systemen in ressourcenarmen Agrardomänen. Die erstellten Benchmarks bilden eine solide Basis für zukünftige Entwicklungen von ASR‑Technologien im indischen Agrarsektor.