SafeBench-Seq: CPU‑basiertes Benchmark für Protein‑Gefahrenanalyse
Die rasante Entwicklung von Foundation‑Modellen im Protein‑Design eröffnet neue Möglichkeiten, birgt jedoch konkrete Bio‑Sicherheitsrisiken. Für die Community fehlt bislang ein einfaches, reproduzierbares Verfahren, das auf Sequenz‑Ebene Gefahren erkennt, unter strikter Homologie‑Kontrolle evaluiert wird und auf handelsüblichen CPUs läuft.
Mit SafeBench‑Seq stellen die Autoren ein vollständig metadata‑basiertes Benchmark‑Set und einen Baseline‑Classifier bereit, der ausschließlich auf öffentlich zugänglichen Daten (SafeProtein‑Gefahren und UniProt‑harmlosen Sequenzen) beruht. Die Merkmale sind interpretierbar: globale physikochemische Beschreibungen und Aminosäure‑Komposition.
Um „nie zuvor gesehen“ Bedrohungen zu simulieren, werden die kombinierten Daten bei ≤40 % Identität homologie‑clusteriert. Für jedes Cluster wird ein hold‑out‑Split erstellt, sodass Trainings‑ und Test‑Sets keine Cluster‑Überschneidungen aufweisen. Die Leistung wird mit AUROC, AUPRC sowie operativen Punkten (TPR bei 1 % FPR und FPR bei 95 % TPR) bewertet, ergänzt durch 95 % Bootstrap‑Konfidenzintervalle (n = 200).
Die Modelle werden kalibriert (Logistic Regression / Random Forest isotonic, Linear SVM Platt‑Sigmoid). Die Qualität der Wahrscheinlichkeiten wird mit Brier‑Score, Expected Calibration Error (15 Bins) und Zuverlässigkeitsdiagrammen gemessen. Zusätzlich werden Shortcut‑Anfälligkeiten durch Zusammensetzungs‑erhaltende Residuen‑Shuffles sowie Längen‑/Kompositions‑Ablationen untersucht. Die Ergebnisse zeigen, dass zufällige Splits die Robustheit stark überschätzen, während kalibrierte lineare Modelle eine gute Kalibrierung aufweisen, während Baum‑Ensembles leicht höhere Brier‑ und ECE‑Werte zeigen.
SafeBench‑Seq ist vollständig CPU‑basiert, reproduzierbar und veröffentlicht ausschließlich Metadaten (Accession‑IDs, Cluster‑IDs, Split‑Labels). Damit bietet es der Forschung ein transparentes, leicht zugängliches Werkzeug, um Protein‑Gefahren unter realistischen Bedingungen zu bewerten und die Sicherheit von KI‑gestützten Protein‑Design‑Systemen zu erhöhen.