TreeKD: Entscheidungsbäume stärken LLMs bei Molekülvorhersagen

Die Vorhersage molekularer Eigenschaften ist ein zentrales Problem in der Wirkstoffentwicklung. Große Sprachmodelle (LLMs) zeigen zwar vielversprechende Ergebnisse, liegen jedoch noch unter dem Schwellenwert, der für eine praktische Nutzung erforderlich ist.

Mit TreeKD wird ein neues Verfahren der Wissensdistillation vorgestellt, das komplementäres Wissen aus spezialisierten, baumbasierten Modellen in LLMs überträgt. Zunächst werden Entscheidungsbäume auf funktionelle Gruppenmerkmale trainiert. Anschließend werden die erlernten Vorhersage­regeln in natürlicher Sprache verfasst, sodass das Sprachmodell diese Regeln als kontextuelle Hinweise nutzen kann. Dadurch erhält das LLM strukturelle Einsichten, die allein aus SMILES‑Strings schwer zu extrahieren sind.

Darüber hinaus wird die Technik „Rule‑Consistency“ eingeführt, ein Test‑Time‑Scaling‑Ansatz, der sich an Bagging orientiert. Er kombiniert Vorhersagen aus unterschiedlichen Regeln eines Random Forests, um die Stabilität und Genauigkeit zu erhöhen.

In Experimenten mit 22 ADMET‑Eigenschaften des TDC‑Benchmarks konnte TreeKD die Leistung von LLMs deutlich steigern. Die Lücken zu den führenden Spezialist‑Modellen wurden reduziert, und der Weg zu praktikablen, generalistischen Modellen für die molekulare Eigenschaften­vorhersage wird dadurch deutlich beschleunigt.