LLMs vs. Wissenschaft: Warum KI noch nicht die Intelligenz der Forschung erreicht

In der aktuellen Debatte um große Sprachmodelle (LLMs) stellt sich die Frage, ob diese Systeme wirklich die gleiche Art von Intelligenz besitzen, die wissenschaftliche Erkenntnisse vorantreibt. Ein neuer Artikel auf arXiv untersucht, wie LLMs Wissen sammeln und vergleicht diesen Prozess mit dem Aufbau von wissenschaftlichem Wissen durch Menschen.

Eine zentrale Studie aus dem Jahr 2014 zeigt, dass Wissenschaftler oft bewusst „fringe science“ – also Grenztheorien – ignorieren. Diese Entscheidungen beruhen auf implizitem Wissen, das in geschlossenen Expertenkreisen durch mündlichen Austausch entsteht. LLMs hingegen greifen ausschließlich auf schriftliche Literatur zurück, wodurch sie in den frühen Phasen der Wissensbildung benachteiligt sind.

Ein anschauliches Beispiel ist das „Dumb Monty Hall Problem“ von Colin Fraser. ChatGPT scheiterte 2023 an diesem Rätsel, doch ein Jahr später konnten neuere Modelle damit umgehen. Der Autor argumentiert, dass die Verbesserung nicht primär an der Rechenfähigkeit der Modelle liegt, sondern an der Veränderung des schriftlichen Diskurses, auf den sie zugreifen können.

Um diesen Unterschied zu verdeutlichen, wurde ein neues Monty Hall‑Prompt entwickelt. Die Antworten von LLMs und einer Gruppe menschlicher Experten unterschieden sich deutlich. Die Autoren prognostizieren jedoch, dass zukünftige Anpassungen die LLMs in die Lage versetzen werden, sich stärker an menschliche Denkweisen anzupassen.

Schließlich wird das Phänomen des „Overshadowing“ diskutiert: Wenn ein bestimmter Diskurs so stark dominiert, kann er neue Ideen unterdrücken. Diese Dynamik verdeutlicht, dass LLMs zwar mächtig sind, aber noch nicht die komplexen sozialen Prozesse vollständig erfassen, die wissenschaftliche Innovationen antreiben.