GPT‑5 testet neue Mathematik‑Hypothesen – Fortschritt, aber Grenzen

Ein kürzlich auf arXiv veröffentlichtes Papier stellt den „Godel‑Test“ vor, ein Verfahren, mit dem die Fähigkeit großer Sprachmodelle bewertet wird, einfache, bislang ungelöste mathematische Vermutungen zu beweisen. Im Fokus steht dabei GPT‑5, das auf fünf Konjekturen aus der kombinatorischen Optimierung geprüft wird.

Für jedes Problem wurden ein oder zwei Ausgangspapiere bereitgestellt, die die Entstehung der Konjektur erklären, während die eigentliche Vermutung selbst verborgen blieb. Anschließend wurde die Argumentation von GPT‑5 detailliert analysiert, um zu prüfen, ob das Modell korrekte Beweise liefern kann.

Die Ergebnisse sind vielversprechend: Bei drei der leichteren Aufgaben erzielte GPT‑5 nahezu korrekte Lösungen und konnte sogar bei Problem 2 eine alternative Annäherungs­garantie ableiten, die die ursprüngliche Konjektur widerlegte. Problem 4, das die Kombination von Erkenntnissen aus zwei Papieren erforderte, blieb jedoch unlösbar. Bei Problem 5, einer schwierigen, noch nicht validierten Konjektur, schlug GPT‑5 denselben Algorithmus vor, den die Autoren im Sinn hatten, scheiterte jedoch bei der Analyse, was auf einen höheren Schwierigkeitsgrad hinweist.

Obwohl die Stichprobe klein ist, deuten die Ergebnisse auf einen echten Fortschritt im routinemäßigen logischen Denken und gelegentlichen Originalitätsgehalt hin, gleichzeitig aber auch auf deutliche Grenzen bei der Synthese von Informationen aus mehreren Quellen. GPT‑5 könnte damit ein erster Schritt in Richtung von Modellen darstellen, die letztlich den Godel‑Test bestehen.