PolyLingua: Leichter Transformer für robuste Sprachidentifikation

Die korrekte Erkennung der Sprache ist ein entscheidender erster Schritt in multikulturellen Systemen wie Chatbots und virtuellen Assistenten. Fehler in diesem Schritt können sich negativ auf nachfolgende Prozesse auswirken, weshalb hohe Genauigkeit gefordert ist. Aktuelle Open‑Source‑Tools wie LangDetect oder FastText sind zwar schnell, liefern aber oft unzureichende Präzision – besonders bei speziellen Anwendungsfällen wie Musik‑Anfragen, bei denen der Titel einer anderen Sprache angehören kann. Große Sprachmodelle sind zwar leistungsfähig, aber für ressourcenbeschränkte Umgebungen zu teuer.

PolyLingua ist ein leichtgewichtiges Transformer‑Modell, das speziell für die Sprachidentifikation entwickelt wurde. Durch ein zweistufiges kontrastives Lernverfahren, das sowohl die Trennung einzelner Instanzen als auch die Ausrichtung von Klassen mit adaptiven Margen kombiniert, entstehen kompakte und klar voneinander getrennte Embeddings, selbst bei eng verwandten Sprachen.

In Tests auf den anspruchsvollen Datensätzen Amazon Massive und Song, die häufige Code‑Switching‑Situationen enthalten, erreichte PolyLingua F1‑Scores von 99,25 % bzw. 98,15 %. Damit übertrifft es das Modell Sonnet 3.5, nutzt jedoch zehnmal weniger Parameter und ist damit ideal für Umgebungen mit begrenzter Rechenleistung und niedriger Latenz.