LLMs erzeugen Halluzinationen: Studie zeigt Risiken bei Prozessmodellierung

Eine neue Untersuchung auf arXiv (2509.15336v1) beleuchtet ein bislang wenig beachtetes Problem von großen Sprachmodellen (LLMs): die sogenannte „knowledge‑driven hallucination“. Dabei widersprechen die von LLMs generierten Ergebnisse expliziten Quellen, weil das Modell auf sein internes, generalisiertes Wissen zurückgreift.

Die Autoren haben dieses Phänomen in einem praxisnahen Szenario getestet – der automatisierten Prozessmodellierung im Bereich Business Process Management (BPM). BPM‑Prozesse folgen häufig standardisierten Mustern, sodass LLMs bereits über starke Vorlagen verfügen. Durch gezielte Experimente wurden jedoch Konflikte zwischen den bereitgestellten Beweisdaten und dem Hintergrundwissen des Modells erzeugt, um die Treue der LLMs zu den Fakten zu prüfen.

Die Ergebnisse zeigen, dass LLMs in solchen Konfliktsituationen häufig von ihrem eigenen Wissen abweichen und falsche Prozessmodelle erzeugen. Die Studie liefert eine klare Methodik zur Messung dieser Zuverlässigkeitsprobleme und unterstreicht die Notwendigkeit einer strengen Validierung von KI‑generierten Artefakten in allen evidenzbasierten Bereichen.