MergeDNA revolutioniert Genommodellierung mit dynamischer Tokenisierung

Die Modellierung von Genomsequenzen steht vor zwei großen Herausforderungen: Die Informationsdichte variiert stark zwischen den Regionen, und es gibt kein eindeutig definiertes Mindestvokabular. Traditionelle Ansätze, die entweder nur die vier Basen oder fest vorgegebene DNA‑Tokenizer nutzen, können diese Komplexität nicht adäquat erfassen.

Mit der neuen Methode MergeDNA wird dieses Problem durch Token‑Merging-Techniken angegangen. Ein hierarchisches System kombiniert einen dynamischen Genom‑Tokenizer mit latenten Transformers, die sich durch kontextbewusste Vortrainingsaufgaben optimieren. Der Token‑Merging‑Block fasst benachbarte Basen zu „Wörtern“ zusammen, während ein Latent‑Encoder die globale Kontextinformation über Voll‑Attention‑Blöcke erfasst.

MergeDNA nutzt zwei Vortrainingsaufgaben: „Merged Token Reconstruction“, das den Tokenizer trainiert und wichtige Tokens selektiv filtert, sowie „Adaptive Masked Token Modeling“, das diese gefilterten Tokens vorhersagt, um informative Inhalte zu extrahieren. In umfangreichen Tests übertrifft das Modell drei führende DNA‑Benchmarks sowie mehrere Multi‑Omics‑Aufgaben – sowohl bei Feinabstimmung als auch bei Zero‑Shot‑Evaluation – herkömmliche Tokenisierungsmethoden und große DNA‑Foundation‑Modelle.