NarraScore: Musik für Videos dank hierarchischer Affektsteuerung

Die automatische Erstellung von Soundtracks für lange Videos ist nach wie vor ein komplexes Problem. Die Hauptschwierigkeiten liegen in der Rechenleistung, der zeitlichen Kohärenz und vor allem in der fehlenden semantischen Wahrnehmung des sich wandelnden Erzählflusses.

Mit dem neuen Ansatz NarraScore wird diese Lücke geschlossen. Das System nutzt die Idee, dass Emotionen eine kompakte Darstellung der Erzähllogik liefern. Durch die Einbindung von festgehaltenen Vision‑Language‑Modellen (VLMs) werden visuelle Inhalte in kontinuierliche Valenz‑Arousal‑Trajektorien übersetzt, die das narrative Geschehen widerspiegeln.

NarraScore arbeitet mit einer Dual‑Branch‑Injection‑Strategie. Ein Globaler Semantischer Anker sorgt für stilistische Stabilität, während ein gezielter Token‑Level‑Affekt‑Adapter lokale Spannungen durch elementweise Residual‑Injektionen steuert. Diese minimalistische Architektur vermeidet die Engpässe dichten Aufmerksamkeitsmechanismus und reduziert das Risiko von Überanpassung bei knappen Daten.

Die Experimente zeigen, dass NarraScore eine führende Konsistenz und narrative Ausrichtung erreicht, und das bei minimalem Rechenaufwand. Damit eröffnet das System einen vollständig autonomen Ansatz für die Generierung von Soundtracks für lange Videoformate.