Neue Methode: GFlowNets erweitern Sprachmodelle auf dynamische Span‑Vokabulare

Standard‑autoregressive Sprachmodelle erzeugen Text tokenweise aus einer festen Wortschatzliste, was zu einem baumartigen Zustandsraum führt. Diese Struktur schränkt die Flexibilität ein, besonders wenn man versucht, dynamische Vokabulare zu nutzen, indem man abgerufene Textspannen auswählt. Dabei wird jedoch übersehen, dass ein Satz aus Spannen unterschiedlicher Länge bestehen kann, was ein gerichtetes azyklisches Graphen‑ (DAG) Modell erfordert, um alle möglichen Zusammensetzungen zu erfassen.

Die neue Methode „Flow of SpanS“ (FOSS) nutzt Generative Flow Networks (GFlowNets), um diesen DAG‑Zustandsraum effizient zu erkunden. Durch flexible Segmentierung der abgerufenen Texte entsteht ein dynamisches Span‑Vokabular, das GFlowNets ermöglicht, vielfältige Zusammensetzungswege zu generieren und damit die Generalisierung zu verbessern. Spezielle Belohnungsmodelle sorgen dafür, dass die erzeugten Texte sowohl vielfältig als auch qualitativ hochwertig sind.

Experimentelle Ergebnisse zeigen, dass FOSS die MAUVE‑Scores um bis zu 12,5 % gegenüber klassischen Transformer‑Modellen steigert und bei wissensintensiven Aufgaben einen Gewinn von 3,5 % erzielt. In allen getesteten Szenarien übertrifft FOSS die aktuellen State‑of‑the‑Art‑Methoden. Darüber hinaus profitieren größere Modelle, mehr Trainingsdaten und reichhaltigere Abrufkorpora von dieser Architektur, was die Skalierbarkeit unterstreicht.

FOSS eröffnet damit einen vielversprechenden Ansatz, um Sprachmodelle über die traditionellen tokenbasierten Grenzen hinaus zu erweitern und gleichzeitig die Vielfalt und Qualität der generierten Texte signifikant zu erhöhen.