Neuer Ansatz löst Plateau bei Korrelationsoptimierung von Attention-Regressoren

In der Welt der Attention‑basierten Regressoren wird häufig gleichzeitig die mittlere quadratische Fehlerfunktion (MSE) und der Pearson‑Korrelationskoeffizient (PCC) optimiert. Dabei tritt ein häufig beobachtetes, aber wenig verstandenes Phänomen auf: Der PCC‑Wert stoppt frühzeitig zu steigen, während der MSE weiterhin sinkt. Dieses „PCC‑Plateau“ hat die Forschung seit langem beschäftigt.

Die neueste theoretische Analyse erklärt, warum das Plateau entsteht. Sie zeigt, dass das Heruntersetzen des MSE – also die Anpassung der Fehlergröße – paradoxerweise den Gradienten des PCC, der die Form der Zielwerte steuert, dämpfen kann. Dieses Problem wird durch die Softmax‑Aufmerksamkeitsmechanik noch verschärft, besonders wenn die zu aggregierenden Daten stark homogen sind.

Ein weiterer Befund ist die Kapazitätsgrenze der Modelle. Für jede konvexe Aggregationsmethode, einschließlich Softmax, wurde ein Limit für die mögliche PCC‑Verbesserung abgeleitet. Der konvexe Hüllkörper der Eingaben bildet dabei die absolute Obergrenze für die erreichbare Korrelationssteigerung. Homogene Datensätze verstärken beide Einschränkungen zusätzlich.

Auf Basis dieser Erkenntnisse wurde die Extrapolative Correlation Attention (ECA) entwickelt. ECA integriert neuartige, theoretisch fundierte Mechanismen, die die PCC‑Optimierung verbessern und über den konvexen Hüllkörper hinaus extrapolieren. In einer Vielzahl von Benchmarks, insbesondere bei stark homogenen Daten, überwindet ECA das PCC‑Plateau und erzielt signifikante Verbesserungen der Korrelation, ohne die Modellkomplexität zu erhöhen.

Diese Fortschritte eröffnen neue Möglichkeiten für präzisere Regressionsmodelle in Bereichen wie Zeitreihenanalyse, Bildverarbeitung und wissenschaftlicher Datenanalyse, wo die genaue Beibehaltung von Zielformen entscheidend ist.