Adaptive Retrieval verbessert LLM-Logik – aber nur selten

In einer neuen Studie von arXiv:2602.07213v1 wird aufgezeigt, warum große Sprachmodelle (LLMs) bei komplexen Rechenaufgaben oft scheitern: Ihr Wissen ist statisch und parametriert, was zu Halluzinationen und schlechter Leistung in Fachgebieten wie Mathematik führt. Die Autoren schlagen vor, Retrieval als dynamisches „in‑Context‑Learning“ zu nutzen, um diese Schwächen zu überwinden.

Das vorgestellte Modell kombiniert einen LLM-Agenten mit einer adaptiven Retrieval‑Strategie. Der Agent entscheidet selbst, wann er auf eine externe Wissensdatenbank zugreift, und wird gegen ein klassisches Chain‑of‑Thought (CoT)-Baseline sowie eine statische Retrieval‑Variante auf den Benchmarks GSM8K und MATH‑500 getestet.

Die Ergebnisse sind überraschend: Während statisches Retrieval eindeutig schlechter abschneidet als CoT, zeigt die adaptive Variante gemischte Ergebnisse. Aufgaben, bei denen der Agent Retrieval nutzt, erzielen leicht schlechtere Scores, während Aufgaben ohne Retrieval oft besser abschneiden. Dies deutet darauf hin, dass Retrieval nur selten wirklich hilft und das bewusste Nicht‑Nützen von Retrieval ein Hinweis auf gute Modellleistung ist. Zudem passt der Agent die Häufigkeit seiner Retrieval‑Anfragen an die Schwierigkeit der Aufgabe an – ein klarer Metakognitiver Signalmechanismus.

Die Studie unterstreicht, dass die Fähigkeit eines Modells, sein eigenes Wissen einzuschätzen und gezielt externe Informationen einzubeziehen, entscheidend für die Entwicklung robuster und zuverlässiger generativer KI‑Systeme ist.