CoPeP: Benchmark für kontinuierliches Vortraining von Protein‑Sprachmodellen

Protein‑Sprachmodelle (pLMs) haben die Forschung im Bereich der Wirkstoffentwicklung neu definiert, indem sie aus großen, ständig aktualisierten Protein‑Datenbanken die Beziehungen zwischen Sequenz, Struktur und Funktion extrahieren. Um diese dynamische Datenlandschaft optimal zu nutzen, wurde das CoPeP‑Benchmarking entwickelt, das kontinuierliches Vortraining (Continual Pretraining) für pLMs systematisch bewertet.

CoPeP basiert auf einer sorgfältig kuratierten Sequenz von Protein‑Datensätzen aus der UniProt‑Knowledgebase, die einen Zeitraum von zehn Jahren abdecken. Für die Bewertung wurden 31 Aufgaben zur Protein‑Verständnis‑Analyse definiert, die von strukturellen bis zu funktionellen Aspekten reichen.

Im Rahmen der Studie wurden verschiedene Ansätze aus dem Bereich des kontinuierlichen Lernens getestet, darunter Replay‑Methoden, Unlearning‑Strategien und plastizitätsbasierte Verfahren. Einige dieser Techniken wurden bislang noch nicht in einem so großen Maßstab auf Protein‑Daten angewendet.

Die Ergebnisse zeigen, dass die Einbeziehung von zeitlicher Meta‑Information die Perplexität um bis zu 7 % verbessert, selbst im Vergleich zu einem Training mit allen Daten gleichzeitig. Darüber hinaus übertreffen mehrere kontinuierliche Lernmethoden das naive kontinuierliche Vortraining, was die Effektivität moderner Ansätze unterstreicht.

CoPeP eröffnet damit eine spannende Plattform, um kontinuierliche Lernstrategien in einem realen, hochrelevanten Anwendungsfall zu untersuchen und weiterzuentwickeln. Es bietet Forschern die Möglichkeit, die Skalierbarkeit und Leistungsfähigkeit dieser Methoden in der Protein‑Forschung zu testen und dadurch die Entwicklung neuer Therapeutika zu beschleunigen.