Maskierte Rekonstruktions-Transformer zeigen Skalierung in Einzelzell-Genomik

Neutrale Skalierungsgesetze, die bisher vor allem in der Sprach- und Bildverarbeitung bekannt waren, haben nun ihre Relevanz in der Einzelzell-Genomik bewiesen. Ein neues arXiv‑Veröffentlichung untersucht, wie sich Masked‑Reconstruction‑Transformer – Modelle, die fehlende Genexpressionswerte vorhersagen – mit zunehmender Modellgröße und Datenmenge verhalten.

Die Studie nutzt zwei experimentelle Szenarien aus dem CELLxGENE Census. Im datenreichen Regime werden 512 hochvarianten Gene aus 200.000 Zellen analysiert, während das datenbeschränkte Regime 1.024 Gene aus 10.000 Zellen umfasst. Für beide Szenarien wurden sieben Modellgrößen getestet, die drei Größenordnungen an Parametern abdecken – von 533 bis zu 3,4 × 10⁸.

Ergebnisse zeigen, dass das datenreiche Regime eine klare Potenzgesetz‑Skalierung aufweist, mit einem irreduziblen Verlustboden von etwa 1,44. Im Gegensatz dazu lässt das datenbeschränkte Regime kaum Skalierung zu, was darauf hinweist, dass die Modellkapazität bei knappen Daten nicht der entscheidende Faktor ist. Die Daten‑zu‑Parameter‑Verhältnis wird damit als kritischer Treiber für das Skalierungsverhalten identifiziert.

Die Autoren konvertieren den asymptotischen Verlustboden in informationstheoretische Einheiten und schätzen etwa 2,30 Bits Entropie pro maskierter Genposition. Diese Erkenntnisse legen nahe, dass skalierbare Transformer‑Modelle in der Einzelzell‑Transkriptomik sinnvoll sind, solange genügend Daten vorhanden sind, und liefern wertvolle Leitlinien für die Entwicklung von „Single‑Cell‑Foundation‑Modellen“.