LLMs als wissenschaftliche Denker: Prompt-Optimierung enthüllt lokale Logik

Mit zunehmender Komplexität ihrer Denkaufgaben werden große Sprachmodelle (LLMs) zu wichtigen Stellvertretern für die inneren Heuristiken der neuesten KI‑Entwicklungen. Das Verständnis dieser emergenten Logik ist entscheidend für Interpretierbarkeit und Sicherheit, insbesondere wenn natürliche Sprache die Hauptschnittstelle zu AGI-Systemen bleibt.

In der vorliegenden Studie wurde ein maßgeschneidertes Genetic Pareto (GEPA)-Verfahren eingesetzt, um systematisch Prompts für wissenschaftliche Rätsel zu optimieren. Durch die Analyse der daraus resultierenden Prompt-Strukturen konnten die Autoren die zugrunde liegenden logischen Muster und Heuristiken identifizieren und deren Übertragbarkeit sowie Anfälligkeit für Fehlanpassungen untersuchen.

Die Ergebnisse zeigen, dass die erzielten Fortschritte in der wissenschaftlichen Argumentation häufig auf modell-spezifische, „lokale“ Logiken zurückzuführen sind, die nicht über verschiedene Systeme hinweg generalisieren. Diese Erkenntnis unterstreicht die Notwendigkeit, die bevorzugten Denkstrukturen von LLMs zu kartieren, um eine effektive Zusammenarbeit mit übermenschlicher Intelligenz zu ermöglichen.