Neuer Mehrstufiger Ansatz sichert konsistente Charaktere in KI-Videoerzählungen

Die Erzeugung langer, zusammenhängender Videoerzählungen mit gleichbleibenden Charakteren stellt die aktuelle Text‑zu‑Video‑KI vor große Herausforderungen. Ein neues Verfahren, das auf einer mehrstufigen Pipeline basiert, löst dieses Problem, indem es die Videoerstellung in filmischer Weise strukturiert.

Zunächst generiert ein großes Sprachmodell einen detaillierten Produktionsskript. Dieses Skript dient als Leitfaden für ein Text‑zu‑Bild‑Modell, das konsistente visuelle Darstellungen jedes Charakters erstellt. Diese Bildanker werden anschließend von einem Video‑Generierungsmodell genutzt, um jede Szene einzeln zu synthetisieren. Durch diese Aufteilung wird die Identität der Charaktere über die gesamte Geschichte hinweg bewahrt.

Vergleichende Tests zeigen, dass das Entfernen des visuellen Ankermechanismus zu einem drastischen Rückgang der Charakterkonsistenz führt – von 7,99 auf 0,55. Diese Ergebnisse unterstreichen die Notwendigkeit der visuellen Vorlagen für die Erhaltung der Identität in KI‑Videos.

Darüber hinaus analysiert die Studie kulturelle Unterschiede in den aktuellen Modellen. Dabei werden signifikante Verzerrungen in der Konsistenz und Dynamik zwischen indischen und westlichen Themengenerationen festgestellt, was auf unterschiedliche Trainingsdaten und Biases hinweist.