Transformer als tropische Polynomschaltung: Neue geometrische Einsicht
In einer kürzlich veröffentlichten Studie wird gezeigt, dass das Self‑Attention‑Mechanismus des Transformers im Hoch‑Vertrauens‑Modus – also wenn die inverse Temperatur β gegen unendlich strebt – im Rahmen der tropische…