Virtue‑basiertes Reinforcement Learning: Ein neuer Ansatz für ethische KI

In einer aktuellen Studie auf arXiv wird die gängige Praxis der maschinellen Ethik im Bereich Reinforcement Learning (RL) kritisch hinterfragt. Die Autoren zeigen, dass regelbasierte (deontologische) Methoden, die Pflichten als Einschränkungen oder Schutzschilde kodieren, bei Unsicherheit und sich verändernden Bedingungen oft versagen und keine dauerhaften Gewohnheiten fördern. Gleichzeitig führen reine Belohnungsansätze – besonders solche mit einem einzigen Ziel – dazu, vielfältige moralische Überlegungen in ein einziges Skalarzeichen zu pressen, was wichtige Kompromisse verschleiert und die Gefahr von Proxy‑Gaming erhöht.

Stattdessen schlagen die Forscher einen ethischen Rahmen vor, der auf „Virtues“ (Tugenden) basiert. Dabei werden ethische Dispositionen als stabile Gewohnheiten verstanden, die auch bei wechselnden Anreizen, Partnern oder Kontexten Bestand haben. Die Bewertung verschiebt sich von bloßen Regelprüfungen oder Skalarwerten hin zu Merkmalzusammenfassungen, zur Beständigkeit unter Interventionen und zur expliziten Berichterstattung über moralische Kompromisse.

Der vorgeschlagene Fahrplan besteht aus vier Säulen: Erstens wird soziales Lernen in Multi‑Agent‑RL genutzt, um tugendhafte Muster aus unvollkommenen, aber normativ informierten Vorbildern zu übernehmen. Zweitens kommen mehrzielige und eingeschränkte Formulierungen zum Einsatz, die Wertkonflikte bewahren und risikobewusste Kriterien einführen, um Schaden zu verhindern. Drittens wird eine affinitätsbasierte Regularisierung eingeführt, die aktualisierbare Tugend‑Prioritäten unterstützt und Stabilität bei Verteilungsverschiebungen gewährleistet, während Normen sich weiterentwickeln können. Viertens werden unterschiedliche ethische Traditionen als praktische Steuerungsimpulse operationalisiert, um die Werte‑ und Kulturannahmen, die ethische RL‑Benchmarks prägen, transparent zu machen.

Dieser Ansatz verspricht, die ethische Robustheit von KI-Systemen zu erhöhen, indem er dauerhafte, kontextunabhängige Tugenden in die Lernprozesse integriert und gleichzeitig die Komplexität moralischer Entscheidungen bewahrt.