meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Jacobian”
Forschung

<p>Tiefe Jacobian-Spektren trennen sich: Exponentielle Skalierung und Vektor‑Alignment</p> <p>In einer neuen Studie von Forschern auf arXiv wird erklärt, warum das Training tiefer neuronaler Netze mit Gradientenverfahren einen starken impliziten Bias aufweist. Der Schlüssel liegt in der Art und Weise, wie die Singularwerte der Jacobian‑Matrix mit zunehmender Tiefe exponentiell skalieren und sich stark voneinander trennen.</p> <p>Die Autoren nutzen einen „fixed‑gates“-Ansatz für Stückweise-lineare Netzwerke,
arXiv – cs.AI
Forschung

<p>Ein neues Papier auf arXiv (2602.11320v1) präsentiert einen Ansatz, der die Rechenlast von Neural Tangent Kernel (NTK)-Methoden drastisch senkt. Traditionell erfordern NTK-Analysen die Auswertung riesiger Jacobian-Matrizen über viele Datenpunkte, was die Skalierbarkeit stark begrenzt.</p> <p>Die Autoren zeigen, dass die Komplexität nicht nur durch Projektion und Sketching der Jacobian reduziert werden kann, sondern auch durch eine gezielte Kompression der Datendimension mittels NTK‑angepasster Datensatzd
arXiv – cs.LG
Forschung

<p>Ein neues theoretisches Fundament erklärt, wie große Sprachmodelle (LLMs) aus kontinuierlichen Berechnungen strukturierte, symbolische Bedeutungen ableiten. In der kürzlich veröffentlichten Arbeit von ArXiv‑Studien (ArXiv:2512.05162v1) wird das Verhalten von LLMs als „Continuous State Machines“ (CSMs) modelliert – glatte dynamische Systeme, deren latente Zustandsräume sich unter probabilistischen Übergangsoperatoren entwickeln.</p>

Der Kern des Ansatzes ist der Transferoperator $P$, der die Verteilung semantischer „Masse“ über den Zustandsraum überträgt. Unter milden R…
arXiv – cs.AI