meineki.news Logo
meineki.news
KI News. Verstehen, was wichtig wird.
Anmelden
Suche

Finde Modelle, Firmen und Themen

Suche im News-Archiv nach Themen, die du dauerhaft verfolgen willst.

Ergebnisse für “Preference Optimization”
Praxis

<p>In diesem Tutorial wird ein End‑to‑End‑Workflow für Direct Preference Optimization vorgestellt, mit dem große Sprachmodelle an menschliche Präferenzen angepasst werden können – und das ganz ohne ein Reward‑Modell.</p> <p>Der Ansatz kombiniert TRL’s DPOTrainer mit QLoRA und PEFT, sodass die Präferenzbasierte Ausrichtung auf einer einzigen Colab‑GPU möglich ist.</p> <p>Das Training erfolgt direkt auf dem binarisierten UltraFeedback‑Datensatz, bei dem jedes Prompt ein binäres Feedback erhält. Dadurch lassen
MarkTechPost
Forschung

<p>DemPO: Sortition-basierte KI-Alignment für repräsentative Werte</p> <p>In einer neuen Studie auf arXiv wird ein Ansatz vorgestellt, der die Werte, die KI-Systeme lernen sollen, demokratisch bestimmen soll. Der sogenannte Democratic Preference Optimization (DemPO) nutzt Sortition – die gleiche Methode, die bei Bürgerforen eingesetzt wird – um aus einer breiten Bevölkerung repräsentative Rater zu ziehen. Dadurch soll die Verzerrung, die bei herkömmlichen RLHF-Methoden entsteht, reduziert werden.</p> <p>Dem
arXiv – cs.AI
Forschung

<p>DPO-Optimierung zeigt Phasenwechsel: Logikleistung schwankt mit β</p> <p>In einer neuen Studie wurde die Direct Preference Optimization (DPO) für drei 7‑B‑Modelle mit offenen Gewichten systematisch untersucht. Dabei wurde der Parameter β, der die Ausrichtung der Modelle steuert, in feinen Schritten variiert, um die Auswirkungen auf die Logikfähigkeit zu beobachten.</p> <p>Bei Mistral zeigte sich ein starkes, nicht‑monotones Verhalten: Die Logikmarge wird nur in einem engen Bereich um β ≈ 10⁻² positiv, au
arXiv – cs.LG