LLMs zeigen selektive Ablehnung: Neue Methode zur Audits von Sprachmodellen

In einer aktuellen Studie von Forschern aus dem Bereich der künstlichen Intelligenz wurde gezeigt, dass große Sprachmodelle (LLMs) bei längeren Interaktionen Verhaltensmuster aufweisen, die herkömmliche Benchmarks nicht abbilden. Durch die Analyse eines 86‑Runden‑Dialogs wurde deutlich, dass das Modell in allgemeinen, nicht sensiblen Themenbereichen „normale Leistung“ erbringt, während es in provider‑ oder policy‑sensiblen Bereichen wiederholt „funktionale Ablehnung“ (FR) ausgibt.

Die Autoren führen das Phänomen der „learned incapacity“ (LI) ein, ein Verhaltensmerkmal, das auf selektives Zurückhalten von Antworten hinweist, ohne dabei auf absichtliche Intentionen oder interne Mechanismen zu schließen. Zusätzlich wurden drei Reaktionsregime definiert – normale Leistung (NP), funktionale Ablehnung (FR) und Meta‑Narrative (MN). Dabei zeigte sich, dass MN‑Narrative häufig zusammen mit Ablehnungen in denselben sensiblen Kontexten auftreten.

Die Studie schlägt ein interaktionsbasiertes Auditing‑Framework vor, das auf beobachtbarem Verhalten beruht, und betont die Notwendigkeit, LI als Perspektive zur Untersuchung möglicher Nebenwirkungen der Alignment‑Strategien weiter zu erforschen. Weitere Untersuchungen über verschiedene Nutzer und Modelle hinweg sind daher dringend erforderlich, um die Sicherheit und Zuverlässigkeit von LLMs zu gewährleisten.