Forschung
TConstFormer: Transformer mit konstantem KV-Cache und O(1)-Rechenzeit
Der Transformer, das Herzstück moderner KI, leidet bei der autoregressiven Inferenz unter einem linear wachsenden KV‑Cache und einer quadra…
arXiv – cs.LG