LEGIT: 24.000 juristische Argumententrees zur Bewertung von LLMs

Ein brandneues Dataset namens LEGIT (LEGal Issue Trees) hat die Forschung im Bereich juristischer KI auf ein neues Level gehoben. Mit 24.000 hochqualitativen Instanzen bietet LEGIT eine umfassende Basis, um die Qualität von LLM-generierten Argumentationspfaden in komplexen Rechtsfragen zu prüfen.

Das Konzept hinter LEGIT ist simpel, aber genial: Gerichtsentscheidungen werden in hierarchische Bäume umgewandelt, die die Argumente der Parteien sowie die Schlussfolgerungen des Gerichts abbilden. Diese Bäume fungieren als Rubriken, mit denen die Abdeckung und Richtigkeit von KI-Argumenten systematisch bewertet werden können.

Um die Zuverlässigkeit dieser Rubriken sicherzustellen, wurden sie von Fachjuristen annotiert und mit weniger detaillierten Vergleichsrubriken abgeglichen. Die Ergebnisse bestätigten, dass die neuen Rubriken sowohl präzise als auch konsistent sind.

Die Analyse der LEGIT-Daten hat zwei zentrale Erkenntnisse geliefert: Erstens ist die juristische Leistungsfähigkeit von LLMs stark von der Abdeckung der rechtlichen Fragen und der Korrektheit ihrer Argumente abhängig. Zweitens zeigen sich bei der Kombination von Retrieval‑Augmented Generation (RAG) und Reinforcement Learning (RL) komplementäre Vorteile: RAG steigert die generelle Argumentationsfähigkeit, während RL die Genauigkeit erhöht, jedoch mit einer leichten Verringerung der Themenabdeckung.