<p>Transformer‑Attention als Mehrspieler‑Spiel: Neue Theorie reduziert Halluzinationen um 18 %</p> <p>In einer kürzlich veröffentlichten Studie auf arXiv wird die interne Funktionsweise von Transformer‑Attention neu beleuchtet. Die Autoren zeigen, dass die einzelnen Attention‑Heads nicht wie ein einzelner Optimierer agieren, sondern als unabhängige Agenten konkurrieren und kooperieren.</p> <p>Durch die gängige Kreuzentropie‑Optimierung entsteht dabei ein implizites Potentialspiel zwischen den Heads. Gradien

arXiv – cs.AI Original
Anzeige