KI News. Verstehen, was wichtig wird.

Suche Anmelden

Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Training Dynamics”

Mamba-Modelle: Theoretische Analyse zeigt Feature‑Selektion

Die jüngsten Erfolge von Mamba und anderen selektiven Zustandsraummodellen haben das Interesse an Nicht‑Attention‑Architekturen für Sequenz…

arXiv – cs.LG 16.02.2026 05:00

<h1>Kontrastives Lernen bei unausgeglichenen Daten: Theoretische Analyse und Pruning‑Lösung</h1> <p>Kontrastives Lernen gilt als ein äußerst wirkungsvolles Verfahren zur Erzeugung generalisierbarer Repräsentationen. Trotz seiner praktischen Erfolge fehlt bislang ein umfassendes theoretisches Verständnis, insbesondere wenn die Trainingsdaten stark unausgeglichen sind – ein Szenario, das in vielen realen Anwendungen vorherrscht.</p> <p>In der vorliegenden Arbeit wird ein neues theoretisches Rahmenwerk vorgest

arXiv – cs.LG 12.02.2026 05:00

Skalierbare Messung der Verlustkurvatur für die Analyse von LLM-Trainingsdynamik

Neues Forschungsergebnis aus dem Bereich der künstlichen Intelligenz liefert ein praktisches Werkzeug, um die Krümmung des Verlustlandschap…

arXiv – cs.LG 26.01.2026 05:00

<p>Engram-Nine: Kollisionsfreie Hot-Tier-Erweiterung zeigt regulierende Wirkung</p> <p>In einer neuen Untersuchung auf arXiv wurde die Rolle von Schlüsselkollisionen in Engram‑Style‑Conditional‑Memory‑Modellen genauer beleuchtet. Die Forscher wollten herausfinden, ob häufig auftretende Kollisionen tatsächlich der Hauptengpass sind, der die Lernleistung einschränkt.</p> <p>Zur Isolierung des Kollisionseffekts wurde Engram‑Nine entwickelt – eine kollisionsfreie Hot‑Tier‑Erweiterung, die die meistverwendeten

arXiv – cs.LG 26.01.2026 05:00

Frühzeitiges Stoppen macht Loss‑Reweighting wirksam – Trainingsdynamik

In der aktuellen Forschung zeigt sich, dass die Technik des Loss‑Reweightings in modernen Deep‑Learning‑Modellen vor allem in den frühen Tr…

arXiv – cs.LG 21.01.2026 05:00

Schnelle Lernkurve: 3D‑Rotations‑Equivariance in Modellen in 10k Schritten

Ein neues arXiv-Preprint beleuchtet, wie schnell Modelle 3D‑Rotations‑Equivariance erlernen und welche Vorteile dies für hochdimensionale M…

arXiv – cs.LG 03.12.2025 05:00

Initial Bias in Deep Networks: Wie Verlustfunktionen die Lernphase beeinflussen

Untrainierte, große neuronale Netzwerke zeigen unmittelbar nach der zufälligen Initialisierung ein starkes Vorzeichen: Sie bevorzugen ein k…

arXiv – cs.LG 27.11.2025 05:00

ReLU-Netzwerke im Fokus: Trainingseffekte sichtbar gemacht

Eine neue Analyse auf arXiv (2511.05628) zeigt, wie man tiefgehende ReLU‑Netze in ein einzelnes lineares Modell überführt, um deren Lernver…

arXiv – cs.LG 11.11.2025 05:00