Kleine Modelle verstehen juristische Texte – Vergleichsstudie liefert Ergebnisse

Große Sprachmodelle versprechen viel für die Rechtsbranche, doch ihre hohen Kosten, die lange Antwortzeiten und Bedenken hinsichtlich der Datensicherheit machen den Einsatz in der Praxis schwierig. In einer neuen Untersuchung wurde daher geprüft, ob Modelle mit weniger als zehn Milliarden Parametern als praktikable Alternativen dienen können.

Die Studie testete neun verschiedene Modelle auf drei juristischen Benchmarks – ContractNLI, CaseHOLD und ECtHR – und nutzte fünf unterschiedliche Prompting‑Strategien: direkte Anfragen, Chain‑of‑Thought, Few‑Shot, BM25‑RAG und dense RAG. Insgesamt wurden 405 Experimente mit drei zufälligen Seeds pro Konfiguration durchgeführt.

Erstaunlich zeigte sich, dass ein Mixture‑of‑Experts‑Modell, das lediglich 3 B Parameter aktiviert, die durchschnittliche Genauigkeit von GPT‑4o‑mini erreicht und bei der Identifikation von Rechtsentscheidungen sogar besser abschneidet. Die Ergebnisse deuten darauf hin, dass die Architektur und die Trainingsqualität wichtiger sind als die reine Parameterzahl – das größte Modell mit 9 B Parametern erzielte die schlechtesten Resultate. Chain‑of‑Thought‑Prompting war stark taskspezifisch: Es verbesserte die Vertragsanalyse, verschlechterte jedoch die Multiple‑Choice‑Rechtsprechung. Few‑Shot‑Prompting erwies sich als die konsistent effektivste Methode. Der Vergleich von BM25‑ und dense‑Retrieval zeigte nahezu identische Resultate, was darauf hindeutet, dass das Flaschenhalsproblem im Umgang des Modells mit dem abgerufenen Kontext liegt.

Alle Tests wurden über Cloud‑Inference‑APIs durchgeführt und kosteten insgesamt nur 62 US Dollar. Damit demonstriert die Studie, dass gründliche Evaluierungen von Sprachmodellen ohne eigene GPU‑Infrastruktur möglich sind und die Forschung in diesem Bereich für eine breitere Community zugänglich macht.