Neuer Prototyp-Readout-Layer verhindert Collapse bei Transformer-Encodern

Die neu vorgestellte DDCL‑Attention ist ein Prototyp‑basierter Readout‑Layer, der herkömmliche Pooling‑Methoden wie Mittelwert‑Pooling oder Klassentoken durch ein lernbares Kompressionsverfahren ersetzt. Dabei nutzt er eine kleine Menge globaler Prototyp‑Vektoren und weist Tokens mittels weicher probabilistischer Zuordnung zu, wodurch kompakte Token‑Zusammenfassungen mit linearer Komplexität in der Sequenzlänge entstehen.

Ein Hauptvorteil liegt darin, dass der Prototyp‑Collapse vollständig vermieden wird: Der Trainingsverlust wird exakt in einen Rekonstruktions- und einen Diversitätsterm zerlegt, sodass die Prototypen stets voneinander getrennt bleiben. Darüber hinaus ist das gemeinsame Training mit dem Encoder stabil, wenn eine praktische Zeitskalenbedingung erfüllt ist – dies wird durch Tikhonovs Theorie der singulären Störung und explizite Lernratenbeschränkungen nachgewiesen. Der Ansatz ist zudem vielseitig einsetzbar: Er kann als finales Readout‑Layer, als differenzierbarer Codebook‑Erweiterung für VQ‑VAE oder als hierarchischer Dokumentkompressor fungieren.

Experimentelle Ergebnisse auf vier Datensätzen bestätigen die theoretischen Vorhersagen: Die Verlustzerlegung hält exakt, die Prototypen‑Trennung wächst wie erwartet, wenn die Stabilitätsbedingung erfüllt ist, und das Codebook erreicht eine vollständige Auslastung, was die Standard‑Hard‑Vector‑Quantisierung übertrifft. Ein zusätzlicher Test zur Klassifizierung von Orbitaldebris zeigt, dass die Methode nicht nur in NLP‑ und Vision‑Aufgaben, sondern auch bei wissenschaftlichen tabellarischen Daten anwendbar ist.

Mit DDCL‑Attention eröffnet sich ein robustes, vielseitiges Werkzeug für Transformer‑Encoder, das sowohl die Effizienz als auch die Leistungsfähigkeit in einer Vielzahl von Anwendungsfeldern steigert.