Neuer Set Transformer berücksichtigt Abundanz für präzise Mikrobiom-Embeddings

Die präzise Repräsentation von Mikrobiom-Proben ist entscheidend für die Nutzung großer Sprachmodelle bei Aufgaben wie Phänotypvorhersage und Umweltklassifikation. Bisher wurden die Embeddings der einzelnen Sequenzen meist einfach gemittelt, wodurch die wichtige Information über die relative Häufigkeit der Taxa vernachlässigt wurde.

Die neue Methode nutzt einen Set Transformer, der die Abundanz der einzelnen Taxa berücksichtigt. Dabei werden die Embeddings der Sequenzen proportional zu ihrer Häufigkeit dupliziert und anschließend mittels Selbstaufmerksamkeit aggregiert. Auf diese Weise entsteht ein fester, sample‑level Embedding, das die biologisch relevante Gewichtung der Taxa widerspiegelt.

In realen Klassifikationsaufgaben übertrifft die Technik das klassische Mittelwert‑Pooling und ungewichtete Set Transformers – in einigen Fällen sogar mit perfektem Ergebnis. Damit wird deutlich, dass die Einbeziehung der biologischen Abundanz die Robustheit und Aussagekraft von Mikrobiom‑Embeddings erheblich steigert und einen wichtigen Schritt in der Integration von Sequenzdaten in Transformer‑Architekturen darstellt.