Neue Methode: Selbstbedingte Denoising revolutioniert atomistische Lernmodelle

Die jüngsten Erfolge im Bereich des Vortrainings großer Sprach- und Bildmodelle haben die Forschung in den physikalischen Wissenschaften zu neuen Grundlagenmodellen anspornt. In der atomistischen Datenanalyse fehlt jedoch noch ein vergleichbares, breit einsetzbares Vortrainingskonzept.

Bislang erzielten große, überwachte Vortrainingsansätze, die DFT‑basierte Kraft‑ und Energie‑Labels nutzen, die besten Ergebnisse bei der Vorhersage von Materialeigenschaften. Selbstüberwachende Lernmethoden (SSL) waren bislang auf Gleichgewichtsgestaltungen oder einzelne Datenbereiche beschränkt und konnten die Leistung dieser überwachten Modelle nicht erreichen.

Mit der Einführung von Self‑Conditioned Denoising (SCD) wird dieses Problem adressiert. SCD ist ein architekturunabhängiges Rekonstruktionsziel, das selbstgenerierte Embeddings nutzt, um eine bedingte Denoising‑Aufgabe über sämtliche atomistische Datensätze hinweg durchzuführen – von kleinen Molekülen über Proteine bis hin zu periodischen Materialien und nicht‑gleichgewichtigen Geometrien.

In kontrollierten Experimenten, bei denen Architektur und Datensatz gleich gehalten wurden, übertrifft SCD bestehende SSL‑Methoden deutlich und erreicht – oder übertrifft – die Leistung von überwachten Vortrainings mit DFT‑Labels. Ein kleines, schnelles Graphen‑Neuronales Netzwerk, das mit SCD vortrainiert wurde, erzielt in mehreren Domänen eine konkurrenzfähige oder sogar überlegene Performance im Vergleich zu größeren Modellen, die auf deutlich umfangreicheren gelabelten oder unlabeled Datensätzen trainiert wurden.

Der zugehörige Code ist öffentlich auf GitHub verfügbar: https://github.com/TyJPerez/SelfConditionedDenoisingAtoms.