LLM-Agenten meistern moralische Entscheidungsrahmen – neue Studie

In einer wegweisenden Veröffentlichung zeigen Forscher, dass große Sprachmodelle (LLMs) zunehmend Einfluss auf menschliche moralische Entscheidungen nehmen. Bisher lag der Fokus jedoch vor allem auf der Bewertung dieser Entscheidungen, während die aktive Steuerung noch wenig erforscht ist.

Die Autoren formulieren das Problem als „out-of-distribution moral alignment“: LLM-Agenten sollen in der Lage sein, konsistente moralische Denkrahmen – utilitaristisch, deontologisch und tugendethisch – auch in Situationen anzuwenden, die sie während des Trainings nicht gesehen haben.

Zur Lösung stellen sie das neue Dataset Moral-Reason-QA vor. Es umfasst 680 hochambigous moralische Szenarien, die von Menschen annotiert wurden. Für jedes Beispiel sind detaillierte Begründungspfade zu den drei ethischen Rahmen vorhanden, was eine systematische Bewertung der moralischen Generalisierung ermöglicht.

Das Lernverfahren basiert auf Group Relative Policy Optimization. Durch zusammengesetzte Belohnungen werden gleichzeitig die Entscheidungsangleichung und die spezifischen Denkprozesse optimiert, sodass die Agenten die zugrunde liegenden moralischen Prinzipien erlernen können.

Experimentelle Ergebnisse zeigen eine deutliche Verbesserung der Generalisierung: Auf unbekannten Testfällen stiegen die softmax-normalisierten Alignment‑Scores um +0,757 für den utilitaristischen Rahmen und um +0,450 für den deontologischen Rahmen. Gleichzeitig identifizieren die Autoren Trainingsschwierigkeiten und geben Hinweise für zukünftige Forschungsrichtungen.

Diese Erkenntnisse legen nahe, dass LLM-Agenten systematisch trainiert werden können, um spezifische moralische Rahmen in neuen Situationen anzuwenden. Das stellt eine wichtige Grundlage für die Sicherheit von KI-Systemen dar, die immer stärker in menschliche Entscheidungsprozesse eingebunden werden.