meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Optimierer”
Forschung

Neuer Optimierer NAMO: Vereint orthogonales Momentum mit Adam‑Noise‑Adaptation In einer kürzlich veröffentlichten Arbeit auf arXiv (2602.17080v1) stellen die Autoren einen innovativen Optimierer namens NAMO vor, der die Vorteile von orthogonalisiertem Momentum – wie sie in Muon genutzt werden – mit der stabilisierenden Noise‑Adaptation von Adam kombiniert. Durch die Skalierung des orthogonalen Momentum mit einer einzigen adaptiven Schrittweite bleibt die Orthogonalität erhalten, während gleichzeitig die L
arXiv – cs.LG
Forschung

<h1>Maskierte Updates steigern LLM-Training: Neue Methode übertrifft Adam</h1> <p>Die Entwicklung großer Sprachmodelle (LLMs) stützt sich bislang fast ausschließlich auf adaptive Optimierer mit komplexen Präconditionern. Eine neue Studie zeigt jedoch, dass das zufällige Maskieren von Parameterupdates überraschend wirksam ist und sogar die neuesten Optimierer übertrifft.</p> <p>Insbesondere ein maskierter RMSProp-Ansatz liefert konsequent bessere Ergebnisse als aktuelle Spitzenoptimierer. Die Autoren erkläre
arXiv – cs.LG
Forschung

<p>OptiML: KI-gestütztes Framework optimiert CUDA-Kernel automatisch</p> <p>Mit dem neuen End‑to‑End-Framework OptiML können Entwickler:innen nun entweder eine natürliche Sprachbeschreibung oder vorhandenen CUDA-Code eingeben und sofort einen leistungsstarken, hardwareoptimierten Kernel erhalten. Das System nutzt ein Mixture‑of‑Thoughts‑Modell, um erste Implementierungsstrategien zu generieren, und verfeinert diese anschließend mithilfe eines Monte‑Carlo‑Tree‑Search‑Optimierers.</p> <p>Jede vorgeschlagene T
arXiv – cs.AI