Generative KI: Kann sie Datenkontamination überstehen? Theoretische Garantien

Generative Künstliche Intelligenz – insbesondere große Sprachmodelle – hat die Art und Weise, wie wir Wissenschaft, Industrie und Gesellschaft gestalten, grundlegend verändert. Mit zunehmender Verbreitung dieser Systeme vermischt sich das Web immer stärker mit KI-generiertem Inhalt, sodass es immer schwieriger wird, echte von künstlichen Texten zu unterscheiden.

Ein besonders drängendes Problem entsteht, wenn neue Modelle regelmäßig auf einer Mischung aus menschlich erstellten Daten und bereits generierten Inhalten trainiert werden. Dieser rekursive Trainingsprozess führt zu einer Kontamination der Datenbasis, die bisher nur in stark vereinfachten theoretischen Modellen untersucht wurde.

Frühere Arbeiten beschränkten sich auf diskrete oder gaußsche Verteilungen, in denen gezeigt wurde, dass rekursives Training zu einem Kollaps des Modells führen kann. In der Realität sind die Daten jedoch viel komplexer, und moderne generative Modelle sind weit flexibler als die vereinfachten Modelle.

Die neue Studie erweitert die Analyse auf ein generelles Rahmenwerk, das kaum Annahmen über die reale Datenverteilung trifft und die generative Komponente als universellen Approximationstyp behandelt. In diesem Kontext wird gezeigt, dass kontaminiertes rekursives Training dennoch konvergiert.

Der Konvergenz­rate entspricht dabei dem Minimum aus der Basis­konvergenz des Modells und dem Anteil echter Daten, der in jeder Iteration verwendet wird. Damit liefert die Arbeit erstmals ein positives theoretisches Ergebnis für rekursives Training ohne spezifische Verteilungsannahmen.

Darüber hinaus wird die Analyse auf weitere Szenarien ausgeweitet, was die Robustheit und Anwendbarkeit der Ergebnisse in realen KI‑Entwicklungsprozessen unterstreicht.