Neues Verfahren für mehrwertige Werteausrichtung von LLMs

In einer Zeit, in der große Sprachmodelle (LLMs) immer stärker Inhalte generieren, Gespräche führen und Entscheidungen treffen, wird die Ausrichtung dieser Modelle an menschliche Werte zu einer zentralen Aufgabe der vertrauenswürdigen KI. Besonders schwierig wird die Sache, wenn mehrere, oft widersprüchliche Werte gleichzeitig berücksichtigt werden sollen.

Aktuelle Ansätze wie Reward‑Reweighting, prompt‑basierte Supervised Fine‑Tuning oder Modell‑Merging stoßen dabei an zwei Grenzen: Erstens ist es kostenintensiv, für jede mögliche Wertekombination ein eigenes Modell zu trainieren. Zweitens führen Konflikte zwischen den Werten häufig zu stark schlechteren Alignment‑Ergebnissen.

Die neue Methode „VC‑Soup“ (Value‑Consistency Guided Multi‑Value Alignment) begegnet diesen Problemen aus einer anderen Perspektive. Durch ein spezielles Filterverfahren werden nur die Präferenzpaare ausgewählt, die eine hohe Werte‑Konsistenz aufweisen. Diese Konsistenz wird dabei mit einer Cosinus‑Ähnlichkeit zwischen dem Reward‑Gap‑Vektor eines Paars und einem Vektor aus Einsen gemessen.

Auf Basis der gefilterten Daten werden anschließend Modelle trainiert, die nicht nur die gewünschten Werte widerspiegeln, sondern auch eine glatte, konsistente Policy‑Landschaft aufweisen. Diese Modelle lassen sich anschließend linear kombinieren und mittels Pareto‑Filterung über die verschiedenen Werte hinweg optimieren, sodass ein ausgewogenes Ergebnis erzielt wird.

Erste Experimente und theoretische Analysen zeigen, dass VC‑Soup die Multi‑Value‑Alignment‑Leistung deutlich verbessert und gleichzeitig die Kosten für das Training reduziert. Damit stellt die Methode einen wichtigen Schritt in Richtung vertrauenswürdiger, wertorientierter KI‑Systeme dar.