Neurale Themenmodelle verbessern: Soft-Label-Verteilungen mit semantischer Basis

In einer neuen Studie wird ein innovativer Ansatz vorgestellt, der neuronale Themenmodelle deutlich verbessert. Durch die Nutzung von Sprachmodellen (LMs) werden kontextreiche Soft-Label-Ziele erzeugt, die die Themenstruktur eines Korpus besser widerspiegeln.

Traditionelle neuronale Themenmodelle optimieren meist die Rekonstruktion von Bag-of-Words (BoW)-Darstellungen. Dabei wird der Kontext von Wörtern vernachlässigt und die Modelle kämpfen häufig mit Datenknappheit. Der neue Ansatz löst dieses Problem, indem er die nächsten Token-Wahrscheinlichkeiten eines LMs nutzt und sie auf ein vordefiniertes Vokabular projiziert.

Die Soft-Label-Verteilungen dienen als kontextuell angereicherte Supervisionssignale. Durch das Training der Themenmodelle, diese Soft-Labels mit den versteckten Zuständen des LMs zu rekonstruieren, entstehen Themen, die stärker mit der zugrunde liegenden thematischen Struktur übereinstimmen.

Experimentelle Ergebnisse auf drei Datensätzen zeigen, dass die Methode die Kohärenz und Reinheit der Themen signifikant steigert und bestehende Baselines deutlich übertrifft. Zusätzlich wurde ein retrievalbasiertes Metrik eingeführt, das die Fähigkeit des Modells, semantisch ähnliche Dokumente zu identifizieren, deutlich hervorhebt.

Diese Fortschritte eröffnen neue Möglichkeiten für retrievalorientierte Anwendungen und markieren einen wichtigen Schritt in der Weiterentwicklung von neuronalen Themenmodellen.