GLOT: Token‑Graphen verbessern Satzrepräsentationen effizient

Ein neues Verfahren namens GLOT nutzt Token‑Graphen, um aus den Ausgaben eines eingefrorenen großen Sprachmodells (LLM) präzise Satzvektoren zu erzeugen. Statt die Tokens einfach zu mitteln oder zu max‑poolen, baut GLOT zunächst ein latentes Ähnlichkeitsnetzwerk zwischen allen Tokens auf. Anschließend werden die Token‑Repräsentationen mit einem Graph‑Neural‑Network verfeinert und schließlich über eine Readout‑Schicht zu einem einzigen Vektor zusammengefasst.

Die Ergebnisse sind beeindruckend: In einem Test, bei dem 90 % der Tokens zufällige Ablenkungen waren, behielt GLOT über 97 % der Genauigkeit, während herkömmliche Pooling‑Methoden fast vollständig versagten. Auf Standard‑Benchmarks wie GLUE und MTEB erreicht GLOT vergleichbare Leistungen wie aktuelle Spitzenmethoden, benötigt dafür jedoch 20‑mal weniger trainierbare Parameter und beschleunigt die Trainingszeit um mehr als 100‑fach im Vergleich zu parameter‑effizienten Feinabstimmungsansätzen.

Eine theoretische Analyse bestätigt die hohe Ausdruckskraft des Ansatzes und unterstreicht, dass das Lernen über Token‑Graphen ein leistungsfähiges Paradigma für die effiziente Anpassung eingefrorener LLMs darstellt. Der komplette Code ist auf GitHub verfügbar: https://github.com/ipsitmantri/GLOT.