Aufmerksamkeit neu gedacht: MHA, GQA, MLA und mehr in LLMs
Moderne große Sprachmodelle setzen zunehmend auf innovative Aufmerksamkeitsmechanismen, um ihre Leistungsfähigkeit zu steigern. Neben dem klassischen Multi‑Head‑Attention (MHA) kommen Varianten wie Gated Query Attention…