Neues Paper enthüllt quadratische Extrapolation im Neural Tangent Kernel

In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass ReLU‑MLPs bei Auswertungen außerhalb ihres Trainingsbereichs tendenziell linear extrapolieren. Während die Mechanismen hinter dieser Linearität bereits gut untersucht sind, bleibt die Frage, wie sich Modelle im speziellen Fall der Nähe zum Ursprung verhalten, bislang weitgehend unerforscht.

Der Schlüssel liegt im unendlichen Feature‑Mapping, das durch den Neural Tangent Kernel (NTK) erzeugt wird. Dieses Mapping ist nicht translationalinvariant, was bedeutet, dass ein Punkt, der weit vom Ursprung entfernt ist, nicht dasselbe Verhalten zeigt wie ein Punkt, der sehr nahe am Ursprung liegt. Gleichzeitig ist das Mapping rotationsinvariant, sodass diese beiden Extrema – weit entfernt und sehr nah – die charakteristischsten Grenzen der ReLU‑NTK‑Extrapolation darstellen.

Die Autoren nutzen diese Erkenntnis, um die bislang unbekannte quadratische Extrapolation für Punkte in unmittelbarer Nähe des Ursprungs zu entdecken. Damit eröffnet die Arbeit neue Perspektiven für das Verständnis von Generalisierung und extrapolativem Verhalten neuronaler Netze im NTK‑Regime.