TConstFormer: Transformer mit konstantem KV-Cache und O(1)-Rechenzeit

Der Transformer, das Herzstück moderner KI, leidet bei der autoregressiven Inferenz unter einem linear wachsenden KV‑Cache und einer quadratischen Rechenkomplexität von O(N²d). Diese Einschränkungen machen die Verarbeitung ultra‑langer Sequenzen nahezu unmöglich.

Um dieses Problem zu lösen, präsentiert die neue Arbeit den TConstFormer, eine Weiterentwicklung des bereits veröffentlichten TLinFormer. Durch einen innovativen periodischen Zustands‑Update-Mechanismus erreicht TConstFormer einen wirklich konstanten KV‑Cache von O(1). Die Berechnungen bleiben ebenfalls im O(1)-Bereich, da für k–1 aufeinanderfolgende Schritte ausschließlich konstante Zeit benötigt wird, während die einzige globale Synchronisation nur im k‑ten Schritt linear erfolgt.

Theoretische Analysen und experimentelle Ergebnisse zeigen, dass TConstFormer gegenüber Standardmodellen in Geschwindigkeit, Speicherbedarf und Gesamtleistung bei langen Text‑Inference‑Aufgaben deutlich überlegen ist. Dieser Durchbruch ebnet den Weg für effiziente und robuste Streaming‑Sprachmodelle, die lange Sequenzen ohne Speicher‑ oder Rechenengpässe verarbeiten können.