LLMs zeigen keine Fortschritte bei Bayesian Optimization – Hybridansatz überzeugt

Neues Paper aus dem arXiv (2509.21403v1) untersucht, ob große Sprachmodelle (LLMs) als Allzweck-Agenten für die experimentelle Gestaltung in wissenschaftlichen Bereichen funktionieren. Die Autoren testeten sowohl Open‑Source‑ als auch Closed‑Source‑LLMs, die auf Instruktionen abgestimmt sind, bei Aufgaben der genetischen Störungserkennung und der Entdeckung molekularer Eigenschaften.

Erstaunlicherweise reagierten die LLM‑Agenten nicht auf experimentelles Feedback: Wenn echte Ergebnisse durch zufällig permutierte Labels ersetzt wurden, blieb die Leistung unverändert. In allen Benchmarks übertrafen klassische Methoden wie lineare Banditen und Gaussian‑Process‑Optimierung die LLM‑Agenten konsequent.

Um die Schwächen der reinen LLM‑Ansätze zu überwinden, schlugen die Forscher einen einfachen Hybridmechanismus vor – den LLM‑guided Nearest Neighbour (LLMNN) Sampling. Dieser kombiniert das Vorwissen der LLMs mit einer Nachbarschaftssuche, um Experimente zu steuern. LLMNN erzielte in allen getesteten Domänen entweder vergleichbare oder bessere Ergebnisse, ohne dass umfangreiche in‑Context‑Anpassungen nötig waren.

Die Ergebnisse zeigen, dass aktuelle Open‑ und Closed‑Source‑LLMs in der Praxis keine effektive in‑Context‑Experimentgestaltung leisten. Stattdessen betonen die Autoren die Notwendigkeit hybrider Frameworks, die priorbasiertes Denken von der Batch‑Akquisition mit aktualisierten Posterioren trennen.