meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “LLM-Training”
Forschung

<h1>Maskierte Updates steigern LLM-Training: Neue Methode übertrifft Adam</h1> <p>Die Entwicklung großer Sprachmodelle (LLMs) stützt sich bislang fast ausschließlich auf adaptive Optimierer mit komplexen Präconditionern. Eine neue Studie zeigt jedoch, dass das zufällige Maskieren von Parameterupdates überraschend wirksam ist und sogar die neuesten Optimierer übertrifft.</p> <p>Insbesondere ein maskierter RMSProp-Ansatz liefert konsequent bessere Ergebnisse als aktuelle Spitzenoptimierer. Die Autoren erkläre
arXiv – cs.LG
Forschung

<h1>HAMMER: Neues LLM-Training nutzt Hamiltonian-Pfad für mehr Exploration</h1> <p>In der aktuellen Forschung zu Curriculum‑Reinforcement‑Learning für große Sprachmodelle (LLMs) wird häufig auf Schwierigkeits‑Annotationen zurückgegriffen, um Daten zu filtern und zu ordnen. Diese Vorgehensweise führt jedoch zu lokalen Optimierungen: Wenn das Modell in den ersten Trainingsschritten zu stark auf einfache Beispiele fokussiert, verliert es seine explorativen Fähigkeiten.</p> <p>Die neue Methode namens HAMMER – H
arXiv – cs.LG