Neues chinesisches Dataset MSLR testet juristische Mehrschritt-Logik von LLMs

Large Language Models (LLMs) haben in den letzten Jahren beeindruckende Fortschritte im Bereich des logischen Denkens erzielt. Dennoch bleiben juristische Benchmarks oft unvollständig, weil sie Faktenabruf mit echter Schlussfolgerung vermischen und den Denkprozess in einzelne, fragmentierte Schritte zerlegen. Um diese Lücken zu schließen, wurde MSLR – das erste chinesische Mehrschritt‑Legal‑Reasoning‑Dataset – entwickelt.

MSLR basiert auf dem IRAC‑Framework (Issue, Rule, Application, Conclusion) und modelliert die strukturierte Expertenlogik, die in offiziellen Gerichtsdokumenten verwendet wird. Durch die Einbindung echter Urteilsentscheidungen bietet das Dataset einen realitätsnahen Kontext, der die Komplexität juristischer Argumentation widerspiegelt.

Ein zentrales Merkmal von MSLR ist die skalierbare Human‑LLM‑kollaborative Annotation Pipeline. Diese ermöglicht die effiziente Erzeugung von fein granularen, schrittweisen Annotationen und liefert zugleich ein wiederverwendbares methodisches Gerüst für zukünftige Mehrschritt‑Reasoning‑Datasets.

Die Evaluation mehrerer LLMs auf MSLR zeigte nur moderate Leistungen, was die Herausforderungen bei der Anpassung an komplexe juristische Logik unterstreicht. Interessanterweise verbesserten sich die Ergebnisse signifikant, wenn die Modelle eigenständig Self‑Initiated Chain‑of‑Thought‑Prompts generierten – ein Ansatz, der die Kohärenz und Qualität der Argumentation übertrifft, selbst wenn die Prompts von Menschen entworfen wurden.

MSLR trägt damit wesentlich zur Weiterentwicklung von LLM‑Reasoning und Chain‑of‑Thought‑Strategien bei. Das Dataset sowie der zugehörige Code stehen frei zugänglich auf GitHub und der offiziellen Webseite bereit.