Protein-Sprachmodelle: Effizienz und Genauigkeit steigen

Moderne Protein‑Sprachmodelle (PLMs) nutzen Transformer‑Architekturen, die ursprünglich für die Verarbeitung natürlicher Sprache entwickelt wurden, um biologische Sequenzen zu analysieren. Trotz der geringen Wortschatzgröße von nur 20 Aminosäuren besitzen Proteine ein reichhaltiges Funktionsspektrum, was die Modellierung deutlich komplexer macht als bei menschlicher Sprache.

In der vorliegenden Studie wurde die Verteilung von Informationen über die verschiedenen Schichten und Aufmerksamkeitsköpfe hinweg direkt zwischen Protein‑ und Sprachdaten verglichen. Die Ergebnisse zeigen, dass PLMs in der Proteinwelt anders lernen und ihre Repräsentationen anders aufbauen, was wichtige Hinweise für die Optimierung dieser Modelle liefert.

Um die Leistungsfähigkeit weiter zu steigern, wurde eine einfache Early‑Exit‑Strategie – ursprünglich für natürliche Sprache entwickelt – auf Protein‑Modelle übertragen. Dabei kann das Modell automatisch die passende Zwischenrepräsentation für eine gegebene Aufgabe auswählen. Dieser Ansatz führt zu einer Genauigkeitssteigerung von bis zu 7 % und gleichzeitig zu einer Effizienzverbesserung von über 10 % bei der Vorhersage nicht‑struktureller Proteinmerkmale.

Die Arbeit eröffnet einen neuen Forschungsbereich, der sich mit den Verhaltensänderungen von Sprachmodellen beim Übergang in den Proteinbereich beschäftigt, und liefert zugleich praktische Fortschritte für die Anwendung von PLMs in der Biologie.