Entdecken latente Chemiekenntnisse in Sprachmodellen mit sparsigen Autoencodern

Die Interpretierbarkeit von Machine‑Learning‑Modellen ist seit ihrer Einführung ein zentrales Problem, das gerade bei generativen Systemen, die in der Wirkstoff- und Materialforschung eingesetzt werden, immer drängender wird. Trotz der beeindruckenden Fähigkeiten neuer Chemie‑Sprachmodelle (CLMs) bleibt unklar, wie diese Systeme chemisches Wissen intern kodieren.

In der vorliegenden Arbeit wird die Technik der sparsigen Autoencoder erweitert, um innerhalb von CLMs interpretierbare Merkmale aufzudecken. Der Ansatz wurde auf das Foundation‑Model for Materials (FM4M) SMI‑TED Chemie‑Modell angewandt, wobei semantisch bedeutungsvolle latente Features extrahiert und deren Aktivitätsmuster über verschiedene Molekül‑Datensätze hinweg analysiert wurden.

Die Ergebnisse zeigen, dass die Modelle ein reichhaltiges Spektrum chemischer Konzepte abbilden. Bestimmte latente Features korrelieren eindeutig mit strukturellen Motiven, physikochemischen Eigenschaften und pharmakologischen Wirkstoffklassen. Diese Entdeckungen liefern einen generellen Rahmen, um latentes Wissen in chemieorientierten KI‑Systemen sichtbar zu machen.

Die Arbeit hat sowohl für das grundlegende Verständnis von CLMs als auch für deren praktische Anwendung bedeutende Implikationen. Durch die Möglichkeit, chemisches Wissen explizit zu extrahieren, könnte die Forschung in der computergestützten Chemie beschleunigt und die Entwicklung neuer Materialien und Medikamente effizienter gestaltet werden.