meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Scaling”
Forschung

<h1>Label-basierte Distanzskalierung verbessert Few-Shot-Textklassifikation</h1> <p>In der Welt der Few-Shot-Textklassifikation, bei der Modelle unbekannte Klassen mit nur wenigen gelabelten Textproben erkennen sollen, gibt es ein zentrales Problem: Während des Trainings werden komplexe Algorithmen entwickelt, doch die gelabelten Stichproben, die im Test verwendet werden, werden zufällig ausgewählt. Dadurch erhalten die Modelle oft keine wirklichen Leitfäden, was zu Fehlklassifikationen führt.</p> <p>Die ne
arXiv – cs.LG
Forschung

<p>Tiefe Jacobian-Spektren trennen sich: Exponentielle Skalierung und Vektor‑Alignment</p> <p>In einer neuen Studie von Forschern auf arXiv wird erklärt, warum das Training tiefer neuronaler Netze mit Gradientenverfahren einen starken impliziten Bias aufweist. Der Schlüssel liegt in der Art und Weise, wie die Singularwerte der Jacobian‑Matrix mit zunehmender Tiefe exponentiell skalieren und sich stark voneinander trennen.</p> <p>Die Autoren nutzen einen „fixed‑gates“-Ansatz für Stückweise-lineare Netzwerke,
arXiv – cs.AI