Vielfalt von Sprachmodellen verhindert Wissenskollaps

Der zunehmende Einsatz von künstlicher Intelligenz (KI) wirft die Gefahr eines Wissenskollapses auf – also die Reduktion auf ein enges, dominantes Ideenpaket. Frühere Studien haben gezeigt, dass ein einzelnes Modell mit sich selbst trainiert, im Laufe der Zeit an Leistung verliert.

In Anlehnung an ökologische Prinzipien untersuchte die aktuelle Arbeit, ob die Vielfalt innerhalb eines KI-Ökosystems – also die Unterschiede zwischen mehreren Modellen – diesen Kollaps abmildern kann. Dafür wurden Modelle, die auf die kollektiven Ausgaben ihrer Artgenossen trainiert wurden, in einem Ökosystem zusammengeführt.

Die Forscher teilten die Trainingsdaten gezielt auf verschiedene Sprachmodelle auf und bewerteten die Leistung der resultierenden Ökosysteme über zehn selbsttrainierende Iterationen hinweg. Dabei zeigte sich, dass eine höhere epistemische Vielfalt tatsächlich den Wissenskollaps reduziert.

Interessanterweise gibt es jedoch ein optimales Maß an Vielfalt. Ein Ökosystem mit nur wenigen, stark unterschiedlichen Modellen kann die volle Verteilung der Daten nicht ausreichend abbilden, was zu einem raschen Leistungsabfall führt. Auf der anderen Seite führt die Aufteilung der Daten auf zu viele Modelle dazu, dass jedes einzelne Modell seine Annäherungsfähigkeit an die wahre Verteilung verliert, was bereits in der ersten Iteration zu schlechten Ergebnissen führt.

Die Ergebnisse legen nahe, dass in einer Welt der KI-Monokulturen die Überwachung der Vielfalt zwischen KI-Systemen entscheidend ist. Gleichzeitig sollten politische Maßnahmen entwickelt werden, die die Schaffung von domänen- und gemeinschaftsspezifischen Modellen fördern, um ein ausgewogenes und robustes KI-Ökosystem zu gewährleisten.