Finde Modelle, Firmen und Themen

In einer neuen Untersuchung von arXiv‑Studien wird die Geometrie von Trainingspfaden in kleinen Transformer‑Modellen genauer beleuchtet. Da…

In der Ausbildung großer Sprachmodelle (LLMs) zeigen Gradientensignale eine starke Anisotropie: die wiederkehrende sprachliche Struktur kon…

In einer neuen Studie wird gezeigt, dass das Standard-Attention‑Modell ungenutzte Rotationsfreiheitsgrade besitzt, die zwar durch die Berec…

Die neuesten Forschungsergebnisse zeigen, dass die Optimierungsstrategie Muon die Vortrainingsphase großer Sprachmodelle deutlich beschleun…

Das neue Verfahren AdaFRUGAL revolutioniert das Training großer Sprachmodelle, indem es die Speicherbelastung drastisch senkt und gleichzei…

In einer neuen Veröffentlichung auf arXiv wird Generalized Primal Averaging (GPA) vorgestellt, ein Verfahren, das die Optimierung von große…

In der Optimierung von neuronalen Netzen spielt die Gewichtungsabklingung (weight decay) eine zentrale Rolle. Während AdamW im Vergleich zu…

In jüngster Zeit haben Optimierer, die Matrix‑Preconditioning einsetzen, vielversprechende Beschleunigungen gegenüber dem derzeit dominante…

Ein neu entwickeltes Verfahren namens EDIT (Early Diffusion Inference Termination) ermöglicht es, die iterative Denoising‑Phase von diffusi…

Die neuesten Fortschritte in der KI zeigen, dass große Sprachmodelle exzellente Fähigkeiten im logischen Denken und bei Tool‑Nutzung besitz…

In einer Zeit, in der Deep‑Learning‑Modelle immer häufiger sensible Daten verarbeiten, bietet Differential Privacy (DP) formale Garantien g…

Die Beschleunigung des Trainings großer neuronaler Netzwerke durch große Batch‑Größen ist heute ein entscheidender Faktor. Gleichzeitig ste…