LLMs verbessern juristische Entscheidungen durch strukturierte Daten – Studie aus Indien

Neues Forschungsergebnis zeigt, dass große Sprachmodelle (LLMs) ihre juristischen Fähigkeiten deutlich steigern können, wenn sie mit strukturierten Daten und klar definierten rhetorischen Rollen arbeiten. Die Studie, die sich auf drei indische Urteilsdatenbanken konzentriert, demonstriert, dass die Organisation von Texten nach ihrer rhetorischen Funktion die Verarbeitung langer Dokumente erleichtert und die Entscheidungsqualität der Modelle verbessert.

Die Autoren führten drei zentrale Experimente durch: Erstens wurden die Urteile neu strukturiert, sodass die Modelle die wichtigsten Abschnitte wie Einleitung, Argumentation und Schlussfolgerung besser erkennen konnten. Zweitens wurden die Modelle mit einer gezielten Definition juristischer Begriffe vertraut gemacht, wodurch das Verständnis der Fachterminologie vertieft wurde. Drittens simulierten die Forscher den schrittweisen Denkprozess von Gerichten, indem sie die Modelle dazu anregten, die rhetorischen Rollen systematisch zu analysieren.

Die Ergebnisse sind beeindruckend: Durch die Kombination aus Datenorganisation und Terminologie‑Training erzielte das Modell eine Leistungssteigerung von mindestens 1,5 % und bis zu 4,36 % im F1‑Score gegenüber dem Ausgangsmodell. Diese Fortschritte wurden in einem Zero‑Shot‑Setting erzielt, was bedeutet, dass die Modelle ohne zusätzliche Domänenanpassung bereits signifikant besser performen.

Die Studie unterstreicht, dass strukturierte Vorverarbeitung und gezielte Terminologie‑Einführung entscheidende Faktoren sind, um die juristische Leistungsfähigkeit von LLMs zu erhöhen. Damit eröffnet sich ein vielversprechender Ansatz, um KI‑gestützte Rechtsberatung und -analyse noch zuverlässiger und präziser zu gestalten.