Automatisierte Konzeptentdeckung deckt versteckte LLM‑Vorlieben auf

In einer wegweisenden Studie wurden Methoden zur automatischen Konzeptentdeckung auf Embedding‑Ebene untersucht, um die Vorlieben von Large Language Models (LLMs) als „Richter“ systematisch zu analysieren. Dabei zeigte sich, dass sparsamer Autoencoder‑Ansatz nicht nur mehr interpretierbare Präferenzmerkmale liefert, sondern auch konkurrenzfähig in der Vorhersage von LLM‑Entscheidungen bleibt.

Die Forscher nutzten über 27.000 gepaarte Antworten aus mehreren menschlichen Präferenzdatensätzen sowie Urteile von drei unterschiedlichen LLMs. Die Ergebnisse bestätigten bereits bekannte Tendenzen – etwa die höhere Bereitschaft von LLMs, sensible Anfragen abzulehnen als Menschen – und luden gleichzeitig neue Einsichten ein. So wurden Biases gegenüber konkreten und empathischen Antworten in neuen Situationen, detaillierten und formellen akademischen Ratschlägen sowie gegen rechtliche Empfehlungen, die aktive Schritte wie das Anrufen der Polizei oder das Einreichen von Klagen fordern, identifiziert.

Diese Arbeit demonstriert, dass automatisierte Konzeptentdeckung ohne vorgefertigte Bias‑Taxonomien ein umfassendes Bild der LLM‑Präferenzen liefert und damit die Grundlage für transparentere und gerechtere Einsatzmöglichkeiten von KI‑Modellen schafft.