LLMs halluzinieren: Warum und wie Bewertungssysteme das Problem verstärken

Large Language Models (LLMs) erzeugen häufig „Halluzinationen“ – überzeugende, aber falsche Antworten. Trotz Fortschritten in Training und Architektur bleiben diese Phänomene bestehen. Eine neue Studie von OpenAI liefert eine klare Erklärung: Halluzinationen entstehen aus statistischen Unterschieden zwischen überwachten und selbstüberwachten Lernmethoden. Gleichzeitig verstärken falsche oder nicht ausgerichtete Evaluierungsbenchmarks das Problem, indem sie Modelle belohnen, die plausibel, aber inkorrekt antworten.