LLMs meistern PhD-Mathematik: Benchmark aus Theoretischer Informatik

Die rasante Entwicklung großer Sprachmodelle (LLMs) hat in den letzten Jahren bedeutende Fortschritte im automatisierten mathematischen Denken und in der wissenschaftlichen Forschung ermöglicht. Studien zeigen, dass KI-Systeme neue mathematische Konstruktionen entdecken und bestehende Grenzwerte verbessern können, was das Potenzial von LLMs zur Beschleunigung mathematischer Entdeckungen unterstreicht.

Um die tatsächlichen Fähigkeiten dieser Modelle auf fortgeschrittenem mathematischem Niveau zu prüfen, wurde ein umfassendes Benchmarking durchgeführt. Vier Spitzenmodelle – GPT‑5‑Thinking, Gemini‑3‑Pro, Claude‑Sonnet‑4.5‑Thinking und Grok‑4 – wurden anhand des klassischen Lehrbuchs „Randomized Algorithms“ von Motwani und Raghavan getestet.

Die Modelle wurden aufgefordert, formale LaTeX‑Beweise für eine Reihe von Lemmen und Übungen aus dem Buch zu generieren. Dabei wurde sowohl die Genauigkeit der Beweise als auch deren Struktur, Klarheit und die Häufigkeit von Halluzinationen bewertet.

Die Ergebnisse zeigen, dass die führenden Modelle Gemini‑3‑Pro und Claude‑Sonnet‑4.5‑Thinking eine Genauigkeit von etwa 66 % erreichen und damit ein solides Verständnis probabilistischer Methoden und formaler Logik demonstrieren. Die anderen Modelle liegen mit rund 40 % deutlich hinterher. Qualitative Analysen verdeutlichen Unterschiede in der Prägnanz, der Häufigkeit von Fehlinformationen und der logischen Kohärenz der generierten Beweise.

Diese Studie legt nahe, dass aktuelle Frontier‑Modelle bereits ein Niveau erreicht haben, das für viele wissenschaftliche Arbeitsabläufe geeignet ist, jedoch noch Verbesserungen in Bezug auf Konsistenz und Zuverlässigkeit erforderlich sind.