Neue Studie deckt Schwächen von LLMs bei Halluzinationen auf

Eine kürzlich veröffentlichte Arbeit auf arXiv präsentiert ein neues Prüfverfahren, das die Faktenkonsistenz großer Sprachmodelle (LLMs) unter Einsatz von gezielten „adversarial nudges“ systematisch testet. Das Verfahren besteht aus drei klar definierten Schritten: Zunächst werden dem Modell Anweisungen gegeben, sowohl wahre als auch falsche Aussagen zu einem festgelegten Themenbereich zu generieren. Anschließend prüft das Modell diese Aussagen erneut, um zu bestätigen, ob sie als wahr oder falsch gelten. Im letzten Schritt wird die Widerstandsfähigkeit des Modells gegen die selbst erzeugten Falschinformationen bewertet.

Die Autoren führten umfangreiche Experimente mit fünf bekannten proprietären LLMs durch, die in zwei geschlossenen Domänen – populäre Filme und Romane – getestet wurden. Die Ergebnisse zeigen deutliche Unterschiede in der Robustheit: Claude demonstriert eine starke Resilienz gegenüber den gezielten Nudge‑Angriffen, während GPT und Grok eine moderate Widerstandsfähigkeit aufweisen. Im Gegensatz dazu zeigen Gemini und DeepSeek nur eine schwache Resilienz, was auf erhebliche Anfälligkeiten hinweist.

Angesichts der zunehmenden Nutzung von LLMs für Informationsbeschaffung unterstreichen die Befunde die Dringlichkeit, die Zuverlässigkeit dieser Modelle zu verbessern. Die Studie liefert damit einen wichtigen Beitrag zur sicheren und verantwortungsvollen Implementierung von KI‑Systemen in hochriskanten Anwendungsbereichen.