Nachverfolgung Trainingsdaten bei Bildgenerierung mit ontologieausgerichteten KGs

Mit der zunehmenden Leistungsfähigkeit generativer Modelle wächst die Forderung nach Transparenz, Verantwortung und Schutz geistigen Eigentums. Ein zentrales Problem ist, wie man nachvollziehen kann, welche konkreten Trainingsdaten die Ausgabe eines Modells beeinflussen.

Die neue Methode nutzt multimodale große Sprachmodelle, um aus Bildern strukturierte Tripel zu extrahieren, die an eine domänenspezifische Ontologie angepasst sind. Durch die automatische Erstellung von Wissensgraphen (KGs) für Trainings- und generierte Bilder kann man die Einflüsse systematisch vergleichen.

Der Vergleich der KGs ermöglicht es, potenzielle Urheberrechtsverletzungen aufzudecken, die Zusammensetzung von Datensätzen transparent zu machen und generative KI erklärbar zu gestalten. In Experimenten mit lokal trainierten Modellen, die mittels Unlearning verändert wurden, sowie bei großen Modellen in einem stilbezogenen Test, zeigte die Methode ihre Wirksamkeit.

Das vorgestellte Framework unterstützt die Entwicklung von KI-Systemen, die menschliche Zusammenarbeit fördern, kreative Prozesse anregen und die Neugierde der Nutzer wecken.