KI-Modelle GPT-4o & Gemini 2.5 im Koreanischen CSAT: Erkenntnisse zur Argumentation

Die rasante Entwicklung generativer KI verändert die Bildungslandschaft nachhaltig. In einem aktuellen Forschungsprojekt wurden die multimodalen Fähigkeiten und kognitiven Grenzen von GPT‑4o, Gemini 2.5 Flash und Gemini 2.5 Pro anhand der Earth‑Science‑I‑Sektion des 2025‑CSAT (Koreanische Hochschulzugangsprüfung) untersucht.

Die Studie setzte drei Testbedingungen ein: komplette Seiten als Eingabe, einzelne Aufgaben und optimierte multimodale Eingaben. Dadurch konnte die Leistung der Modelle unter unterschiedlichen Datenstrukturen gemessen werden. Die Ergebnisse zeigten, dass unstrukturierte Eingaben zu erheblichen Leistungsabfällen führten, vor allem durch Segmentierungs- und OCR‑Fehler.

Selbst unter optimierten Bedingungen blieben fundamentale Denkfehler bestehen. Die Modelle machten vor allem „Perception‑Errors“, die einen Wahrnehmungs‑Kognitions‑Gap verdeutlichen: Sie erkannten visuelle Daten, konnten aber die symbolische Bedeutung von Diagrammen nicht interpretieren. Zudem zeigte sich eine „Calculation‑Conceptualization‑Discrepancy“, bei der Rechenaufgaben korrekt gelöst wurden, die zugrunde liegenden wissenschaftlichen Konzepte jedoch nicht angewendet wurden. Ein weiteres Phänomen war die „Process Hallucination“, bei der Modelle visuelle Verifikation überspringten und stattdessen plausibles, aber unbegründetes Hintergrundwissen nutzten.

Diese Erkenntnisse unterstreichen die Notwendigkeit, Prüfungsformate neu zu überdenken und Mechanismen zur Wahrung der akademischen Integrität zu entwickeln. Gleichzeitig eröffnen sie Forschungsfelder, um KI‑Modelle besser an die Anforderungen wissenschaftlicher Argumentation anzupassen und ihre Grenzen transparent zu machen.