Task-Lens: Mehrzweckprofilierung indischer Sprachdatensätze für NLP

Mit der wachsenden Nachfrage nach inklusiven Sprachtechnologien steigt auch der Bedarf an multilingualen Datensätzen für die Forschung im Bereich Natural Language Processing. In Ländern mit großer sprachlicher Vielfalt, wie Indien, erschwert das begrenzte Bewusstsein für vorhandene ressourcenorientierte Datensätze die Entwicklung von NLP-Anwendungen, insbesondere in Sprachen mit wenig Daten.

Eine vielversprechende Lösung ist die Cross‑Task Profilierung, bei der die Nützlichkeit von Datensätzen für mehrere nachgelagerte Aufgaben untersucht wird, anstatt sich auf eine einzelne Aufgabe zu beschränken. Bisherige Umfragen listen Datensätze meist nur für eine spezifische Aufgabe auf, wodurch ein umfassendes Bild der Vielseitigkeit fehlt.

Task‑Lens ist eine solche Cross‑Task‑Umfrage, die die Eignung von 50 indischen Sprachdatensätzen in 26 Sprachen für neun verschiedene Sprachaufgaben bewertet. Zunächst wird analysiert, welche Metadaten und Eigenschaften für bestimmte Aufgaben geeignet sind. Anschließend werden aufgabenorientierte Verbesserungen vorgeschlagen, um das volle Potenzial der Datensätze auszuschöpfen. Schließlich werden Aufgaben und Sprachen identifiziert, die durch aktuelle Ressourcen besonders unterrepräsentiert sind.

Die Ergebnisse zeigen, dass viele indische Sprachdatensätze bislang ungenutzte Metadaten enthalten, die mehrere Aufgaben unterstützen können. Durch die Aufdeckung von Cross‑Task‑Verbindungen und Lücken ermöglicht Task‑Lens Forschern, die breitere Anwendbarkeit vorhandener Datensätze zu erkennen und gezielt neue Datensätze für unterrepräsentierte Aufgaben und Sprachen zu priorisieren.