KI erzielt perfekten LSAT-Score – erste dokumentierte Vollpunktleistung

Ein neues arXiv‑Paper (2604.10034v1) berichtet, dass ein Sprachmodell erstmals einen perfekten Punktwert beim offiziell veröffentlichten Law School Admission Test (LSAT) erzielt hat. Die Studie demonstriert, dass die KI ohne Fehler alle Fragen beantwortet hat, was einen Meilenstein in der Anwendung von KI auf juristische Prüfungen darstellt.

Die Autoren führten kontrollierte Experimente mit acht verschiedenen Logik‑Modellen durch. Dabei zeigte sich, dass Änderungen im Prompt, das Mischen der Antwortoptionen oder das Erzeugen mehrerer Antworten keinen signifikanten Einfluss auf die Leistung haben. Entscheidend war jedoch die „Denkschleife“ des Modells: Wenn diese Phase entfernt wurde, sank die Genauigkeit um bis zu acht Prozentpunkte, vor allem bei logischen Fragestellungen.

Verfeinerte Modelle, die die Denkschleife in kompakter Form reproduzieren, erreichen zwar ähnliche Ergebnisse, bleiben jedoch hinter dem Spitzenwert zurück. Ein Pilotansatz, bei dem ein Belohnungsmodell mittels QLoRA auf offiziellen LSAT‑Erklärungen feinjustiert wurde, schließt diese Lücke durch eine Best‑of‑5‑Auswahl. Auch hier sind die Verbesserungen vor allem bei logischen Fragen sichtbar.

Der LSAT, seit 1948 das Prüfungsinstrument für den Zugang zu renommierten Jurastudiengängen, wurde nun nicht nur bestanden, sondern von KI ohne einen einzigen Fehler beantwortet. Damit wird deutlich, dass die kognitiven Fähigkeiten, die der Test misst, nicht mehr ausschließlich dem Menschen vorbehalten sind.