LLM-Tester CLAUSE: Benchmark zur Erkennung von Vertragsfehlern

Die rasante Einbindung großer Sprachmodelle (LLMs) in juristische Arbeit hat ein entscheidendes Problem offenbart: Es fehlt ein systematisches Testverfahren, das die Zuverlässigkeit dieser Modelle bei der Analyse komplexer, fehlerhafter Verträge prüft. Mit dem neuen Benchmark CLAUSE soll genau das gefüllt werden.

CLAUSE erzeugt über 7.500 realistische, manipulierte Verträge aus etablierten Datensätzen wie CUAD und ContractNLI. Durch einen persona‑basierten Prozess entstehen zehn unterschiedliche Anomalie‑Kategorien, die anschließend mithilfe eines Retrieval‑Augmented Generation (RAG) Systems gegen aktuelle Gesetze abgeglichen werden, um die rechtliche Genauigkeit sicherzustellen.

Der Benchmark testet führende LLMs daraufhin, ob sie eingebettete Rechtsfehler erkennen und deren Bedeutung erklären können. Die Ergebnisse zeigen, dass die Modelle häufig subtile Fehler übersehen und besonders bei der rechtlichen Begründung noch stärker versagen. CLAUSE liefert damit einen klaren Fahrplan, um solche Schwächen in juristischen KI‑Systemen zu identifizieren und zu beheben.