LLMs meistern Molekülvorhersagen: Studie enthüllt Memorierung vs. Kontextlernen

Die neuesten Erkenntnisse zeigen, dass große Sprachmodelle (LLMs) weit über die reine Textverarbeitung hinausgehen und nun auch in der Chemie eingesetzt werden können. In einer umfassenden Untersuchung wurde die Fähigkeit von LLMs getestet, molekulare Eigenschaften wie Löslichkeit, Lipophilie und Atomisationsenergie vorherzusagen, und dabei wurde genau analysiert, ob die Modelle wirklich aus dem Kontext lernen oder lediglich auswendig gespeicherte Werte wiedergeben.

Die Studie umfasste neun verschiedene LLM-Varianten aus den Familien GPT‑4.1, GPT‑5 und Gemini 2.5. Für jedes Modell wurden drei etablierte MoleculeNet‑Datensätze – Delaney‑Löslichkeit, Lipophilie und QM7‑Atomisationsenergie – herangezogen. Durch einen systematischen „Blinding“-Ansatz wurden die Modelle schrittweise mit weniger Kontextinformationen versorgt, während gleichzeitig die Anzahl der in‑Context‑Beispiele auf 0‑, 60‑ und 1000‑Shot variiert wurde. Dieser kontrollierte Aufbau ermöglichte es, die Abhängigkeit von vortrainiertem Wissen gegenüber neuem Kontext zu isolieren.

Die Ergebnisse liefern ein robustes Rahmenwerk, um die Leistung von LLMs bei molekularen Vorhersagen unter streng kontrollierten Bedingungen zu bewerten. Sie zeigen deutlich, dass Memorierung ein bedeutender Faktor ist, gleichzeitig aber auch Konflikte zwischen vortrainiertem Wissen und aktuellem Kontext entstehen können. Diese Erkenntnisse sind entscheidend, um die Zuverlässigkeit von KI‑gestützten Chemie‑Tools zu erhöhen und zukünftige Entwicklungen gezielt zu steuern.