Mehr Präzision: Neue Attention-Mechanismen mit lernbaren Prioritäten
Eine neue Veröffentlichung auf arXiv präsentiert einen radikalen Ansatz zur Verbesserung von Attention-Mechanismen in neuronalen Netzwerken. Durch die Anwendung von Entropic Optimal Transport (EOT) wird die klassische Attention als Transportproblem mit einer impliziten, uniformen Priorität interpretiert.