Neues Verfahren ermöglicht motion‑kontrollierte Videoerstellung ohne Training

Ein neues, trainingsfreies Verfahren namens Time-to-Move (TTM) verspricht, die Art und Weise, wie Videos generiert werden, grundlegend zu verändern. Durch die Kombination von Bild-zu-Video‑Diffusionsmodellen mit einer einfachen, benutzerfreundlichen Manipulation von Referenzanimationen – etwa durch Ziehen und Ablegen oder Tiefen‑Reprojektion – kann TTM präzise Bewegungen steuern, ohne dass das Modell neu trainiert werden muss.

TTM nutzt die Idee von SDEdit, bei der grobe Layout‑Hinweise zur Bildbearbeitung verwendet werden, und überträgt diese Technik auf den Video‑Bereich. Dabei werden die groben Animationen als Bewegungs‑Hinweise interpretiert und in den Sampling‑Prozess integriert. Ein innovatives „Dual‑Clock‑Denoising“ sorgt dafür, dass in den bewegungsbestimmten Regionen eine starke Ausrichtung erreicht wird, während andere Bereiche flexibel bleiben. So entsteht ein ausgewogenes Verhältnis zwischen der Umsetzung der Nutzerabsicht und natürlicher Dynamik.

Die Methode erfordert keine zusätzlichen Trainings- oder Laufzeitkosten und ist mit jedem bestehenden Diffusionsmodell kompatibel. Umfangreiche Tests auf Objekt‑ und Kamerabewegungs‑Benchmarks zeigen, dass TTM die Realitätsnähe und Bewegungssteuerung von bestehenden, trainingsbasierten Ansätzen erreicht oder sogar übertrifft. Darüber hinaus ermöglicht TTM eine pixel‑genaue Erscheinungssteuerung, die über die Grenzen von rein textbasierten Eingaben hinausgeht.