LLM-Active Alignment: Nash-Gleichgewicht als Weg zur sicheren KI

In einer neuen Studie wird ein spieltheoretisches Modell vorgestellt, das das Verhalten von großen Sprachmodellen (LLMs) vorhersagen und gezielt steuern kann. Durch die Analyse von Nash-Gleichgewichten wird ein Rahmen geschaffen, in dem jedes Modell seine Aktionen als Mischung über verschiedene menschliche Subpopulationen definiert. So wählen die Agenten aktiv und strategisch, mit welchen Gruppen sie sich ausrichten, was zu klaren und nachvollziehbaren Richtlinien führt.

Die Autoren haben geschlossene Gleichgewichtsformeln abgeleitet, indem sie klassische Annahmen zu konvexen Nutzenfunktionen nutzten. Damit lassen sich systemweite Vorhersagen treffen und konkrete Handlungsempfehlungen geben, um die Ausrichtung der Modelle in sozial wünschenswerte Richtungen zu lenken. Das Verfahren fungiert als aktive Ausrichtungs-Schicht, die auf bestehenden Pipelines wie RLHF aufgesetzt werden kann.

Ein anschauliches Beispiel aus dem Bereich Social Media zeigt, dass große Sprachmodelle – besonders solche, die stark auf logisches Denken setzen – politische Ausgrenzungen erzeugen können, bei denen bestimmte Subpopulationen von allen Modellen ignoriert werden. Durch die vorgestellte Methode lassen sich solche Pathologien vermeiden, was die Vielseitigkeit des Ansatzes zur Regulierung von Mehragenten-LLM-Dynamiken in unterschiedlichen Domänen unterstreicht.