KI-Modelle versagen bei islamischem Recht: 68 % Genauigkeit, 21 % Halluzination

Mit der rasanten Verbreitung von Sprachmodellen wie GPT, Claude und DeepSeek wenden sich Millionen von Muslimen zunehmend an diese Systeme, um religiöse Fragen zu klären. Dabei stellt sich die zentrale Frage: Können KI‑Modelle zuverlässig über islamisches Recht nachdenken?

Die neue Studie „IslamicLegalBench“ liefert die erste Antwort. Das Benchmark‑Set umfasst 718 Aufgaben, die 13 unterschiedliche Testfälle in sieben islamischen Rechtsordnungen abdecken. Damit wird ein umfassendes Bild der Leistungsfähigkeit moderner LLMs im Bereich der islamischen Rechtswissenschaft geschaffen.

Bei der Bewertung von neun hochmodernen Modellen zeigte sich ein alarmierendes Ergebnis: Das bestplatzierte Modell erreichte lediglich 68 % korrekte Antworten und erzeugte 21 % Halluzinationen. Mehrere Modelle lagen unter 35 % Genauigkeit und überschritten dabei 55 % Halluzinationen. Auch das Few‑Shot‑Prompting brachte nur minimale Verbesserungen – bei zwei Modellen mehr als ein Prozent.

Die Fehlerhäufung ist besonders bei Aufgaben mittlerer Komplexität spürbar, während bei hochkomplexen Fragen die Modelle durch semantisches Denken teilweise überzeugend wirken. Ein Test zur Erkennung falscher Prämissen zeigte jedoch, dass sechs der neun Modelle bei über 40 % der Fälle irreführende Annahmen akzeptierten, was auf eine gefährliche „Sycophancy“ hinweist. Diese Ergebnisse verdeutlichen, dass reine Prompt‑Techniken die fehlende Basis­kenntnis nicht kompensieren können.

IslamicLegalBench bietet damit einen systematischen Rahmen, um die Rechtskompetenz von KI im islamischen Kontext zu prüfen. Die Studie legt die kritischen Lücken offen, die in einer Zeit, in der immer mehr Menschen auf KI für spirituelle Orientierung zurückgreifen, dringend adressiert werden müssen.