Multi-Value Alignment: Mehr Sicherheit für große Sprachmodelle

Mit dem rasanten Fortschritt großer Sprachmodelle (LLMs) wird die Aufgabe, sie an menschliche Werte anzupassen, immer wichtiger. Dabei gilt es nicht nur einen einzelnen Wert zu berücksichtigen, sondern mehrere, die sich manchmal widersprechen können. Dieses „Multi‑Value Alignment“ stellt ein zentrales Problem für Sicherheit und Ethik dar.

Aktuelle Ansätze wie Reinforcement Learning from Human Feedback (RLHF) oder Direct Preference Optimization (DPO) wurden bereits entwickelt, um mehrere Werte zu balancieren. Sie stoßen jedoch häufig an Grenzen: Sie sind in der Regel instabil, ineffizient bei der gleichzeitigen Optimierung mehrerer Ziele und können Konflikte zwischen Werten nicht zuverlässig lösen.

Die neue Methode namens Multi‑Value Alignment (MVA) geht diesen Herausforderungen entgegen. Sie reduziert die gegenseitige Information zwischen unterschiedlichen menschlichen Werten, wodurch Parameterinterferenzen minimiert werden. Zusätzlich nutzt MVA eine Value‑Extrapolation‑Strategie, die die Pareto‑Grenze effizient erkundet und eine Sammlung von LLMs mit vielfältigen Wertpräferenzen erzeugt.

Umfangreiche Experimente zeigen, dass MVA die bestehenden Baselines bei der Ausrichtung mehrerer Werte konsequent übertrifft. Damit bietet die Methode einen vielversprechenden Weg, LLMs sicherer und ethisch vertrauenswürdiger zu gestalten.