Neues Paper enthüllt quadratische Extrapolation im Neural Tangent Kernel
In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass ReLU‑MLPs bei Auswertungen außerhalb ihres Trainingsbereichs tendenziell linear extrapolieren. Während die Mechanismen hinter dieser Linearität bere…
- In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass ReLU‑MLPs bei Auswertungen außerhalb ihres Trainingsbereichs tendenziell linear extrapolieren.
- Während die Mechanismen hinter dieser Linearität bereits gut untersucht sind, bleibt die Frage, wie sich Modelle im speziellen Fall der Nähe zum Ursprung verhalten, bisl…
- Der Schlüssel liegt im unendlichen Feature‑Mapping, das durch den Neural Tangent Kernel (NTK) erzeugt wird.
In einer kürzlich veröffentlichten Studie auf arXiv wird gezeigt, dass ReLU‑MLPs bei Auswertungen außerhalb ihres Trainingsbereichs tendenziell linear extrapolieren. Während die Mechanismen hinter dieser Linearität bereits gut untersucht sind, bleibt die Frage, wie sich Modelle im speziellen Fall der Nähe zum Ursprung verhalten, bislang weitgehend unerforscht.
Der Schlüssel liegt im unendlichen Feature‑Mapping, das durch den Neural Tangent Kernel (NTK) erzeugt wird. Dieses Mapping ist nicht translationalinvariant, was bedeutet, dass ein Punkt, der weit vom Ursprung entfernt ist, nicht dasselbe Verhalten zeigt wie ein Punkt, der sehr nahe am Ursprung liegt. Gleichzeitig ist das Mapping rotationsinvariant, sodass diese beiden Extrema – weit entfernt und sehr nah – die charakteristischsten Grenzen der ReLU‑NTK‑Extrapolation darstellen.
Die Autoren nutzen diese Erkenntnis, um die bislang unbekannte quadratische Extrapolation für Punkte in unmittelbarer Nähe des Ursprungs zu entdecken. Damit eröffnet die Arbeit neue Perspektiven für das Verständnis von Generalisierung und extrapolativem Verhalten neuronaler Netze im NTK‑Regime.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.