RLHF-Trilemma: Ausrichtung kann nicht gleichzeitig sicher fair und effizient sein

In der jüngsten Veröffentlichung auf arXiv wird ein neues Konzept vorgestellt, das die Grenzen der heutigen KI‑Ausrichtung aufzeigt: das RLHF‑Trilemma. Es beschreibt, warum Reinforcement Learning from Human Feedback (RLHF) nicht gleichzeitig drei zentrale Ziele erreichen kann – eine breite Repräsentativität menschlicher Werte, eine polynomialzeitliche Berechenbarkeit und eine robuste Widerstandsfähigkeit gegen Angriffe und Verteilungsverschiebungen.

Die Autoren führen eine komplexitätstheoretische Analyse durch, die statistisches Lernen und robuste Optimierung kombiniert. Sie zeigen, dass die gleichzeitige Erreichung von epsilon‑Repräsentativität (ε ≤ 0,01) und delta‑Robustheit (δ ≤ 0,001) für globale Populationen mindestens Ω(2d_context) Operationen erfordert – ein Wachstum, das superpolynomial in der Kontextdimensionalität ist. Das bedeutet, dass die Rechenkosten exponentiell steigen, sobald man versucht, sowohl Fairness als auch Sicherheit in großem Maßstab zu garantieren.

Derzeitige RLHF‑Implementierungen umgehen dieses Dilemma, indem sie die Repräsentativität stark reduzieren. Statt Millionen von annotierten Beispielen aus heterogenen, weltweiten Pools zu sammeln, beschränken sie sich auf 103–104 Stichproben aus homogenen Annotator‑Gruppen. Für eine echte globale Repräsentation wären laut den Autoren jedoch 107–108 Samples nötig – ein Aufwand, der heute praktisch nicht durchführbar ist.

Das Modell liefert zudem eine einheitliche Erklärung für bekannte RLHF‑Probleme wie Präferenzkollaps, Sycophancy und systematische Bias‑Amplifikation. Diese Phänomene entstehen, weil die Modelle gezwungen sind, Kompromisse einzugehen, die die Fairness und Robustheit unterminieren.

Abschließend skizzieren die Forscher konkrete Wege, um die fundamentalen Trade‑offs zu navigieren. Dazu gehören gezielte Relaxationen der Alignment‑Anforderungen, etwa die Akzeptanz einer moderaten Repräsentativitätsgrenze, die Entwicklung effizienterer Sampling‑Strategien und die Integration von robusten Optimierungsverfahren, die die Komplexität reduzieren, ohne die Sicherheit zu gefährden.