PRiSM: Neuer multimodaler Benchmark für wissenschaftliches Denken mit Python

Wissenschaftliche Bild‑und Textmodelle (VLMs) stehen vor einer neuen Herausforderung: Sie müssen nicht nur Antworten liefern, sondern auch die zugrunde liegenden Konzepte, symbolische Logik und formalen Gesetze verstehen. Der bisherige Stand der Benchmarks lässt dabei wichtige Aspekte wie Zwischenschritte, Robustheit gegenüber Variationen und die Möglichkeit zur Überprüfung der wissenschaftlichen Richtigkeit vermissen.

Um diese Lücken zu schließen, präsentiert PRiSM einen vollständig dynamischen, multimodalen Teststand, der über 24.750 Aufgaben aus Physik und Mathematik auf Universitätsniveau umfasst. Jede Aufgabe kombiniert Text, Bild und ein generiertes Diagramm und liefert gleichzeitig ausführbaren Python‑Code zur Erzeugung und Verifikation der korrekten Lösung sowie eine detaillierte Schritt‑für‑Schritt‑Erklärung.

Der Schlüssel zu PRiSM ist die skalierbare, agentenbasierte Pipeline PrismAgent, die problembezogene Instanzen automatisch erstellt. Durch die Python‑basierte Ground‑Truth‑Generierung können Forscher die Leistung von VLMs präzise überwachen, Fehlerquellen identifizieren und das Verhalten bei Unsicherheit, Robustheit gegenüber Störungen, Korrektur von Fehlern und Auflösung von Mehrdeutigkeiten untersuchen.

Die Benchmark definiert fünf gezielte Evaluationsaufgaben: Generalisierung, symbolische Programm‑Synthese, Robustheit gegenüber Störungen, Fehlerkorrektur und Mehrdeutigkeitsauflösung. Erste Tests mit bestehenden VLMs zeigen deutlich, wo die Modelle noch an ihre Grenzen stoßen, und liefern wertvolle Erkenntnisse für die Weiterentwicklung von KI‑Systemen im wissenschaftlichen Kontext.