Transformer mit Kontext‑Gating erzielt Rekordleistung bei Textklassifikation

Eine neue Architektur namens SFL Transformer hat die Messlatte für die Klassifikation lyrischer Inhalte deutlich höher gelegt. Durch die direkte Einbindung von strukturellen Merkmalen in den Self‑Attention‑Mechanismus eines vortrainierten Transformers wird die Sequenz der versteckten Zustände im BERT‑Encoder‑Stack moduliert – statt die Features erst am Ausgang zu kombinieren.

Der Schlüssel liegt im „Contextual Gating“: Mit einem intermediären SFL‑Modul werden die tiefen, kontextualisierten semantischen Features (Hseq) mithilfe von niedrigdimensionalen strukturellen Hinweisen (Fstruct) feinjustiert. Diese Vorgehensweise ermöglicht eine synergetische Kombination von Struktur‑ und Semantik‑Informationen innerhalb des Modells.

In einer anspruchsvollen binären Klassifikationsaufgabe, die auf UMAP‑reduzierten lyrischen Embeddings basiert, erzielte der SFL Transformer eine Accuracy von 0,9910 und einen Macro‑F1‑Score von 0,9910 – ein deutlicher Fortschritt gegenüber dem vorherigen SFL‑Modell (Accuracy 0,9894). Gleichzeitig blieb die Zuverlässigkeit hoch: Der Expected Calibration Error (ECE) beträgt lediglich 0,0081 und der Log‑Loss liegt bei 0,0489.

Diese Ergebnisse bestätigen die Hypothese, dass die Einbettung zusätzlicher kontextueller Signale mitten im Transformer‑Stack die effektivste Methode ist, um strukturelle und semantische Informationen zu kombinieren. Das Modell liefert nicht nur überlegene Trennkraft, sondern auch hochpräzise Wahrscheinlichkeitsabschätzungen.