Neues Transformer-Modell setzt neue Maßstäbe in der Ansichtssynthese

Ein neues Forschungsergebnis aus dem Bereich der Bildsynthese zeigt, dass Transformer-Modelle ohne geometrische Vorinformationen die bisherige Spitzenleistung in der Novel View Synthesis (NVS) übertreffen. Die Studie untersucht, wie sich diese Modelle mit zunehmender Rechenleistung skalieren und liefert konkrete Designprinzipien für die Entwicklung von rechenoptimierten NVS-Systemen.

Im Gegensatz zu früheren Annahmen beweist die Arbeit, dass Encoder‑Decoder-Architekturen tatsächlich rechenoptimale Modelle erzeugen können. Frühere negative Befunde wurden auf suboptimale architektonische Entscheidungen und ungleiche Trainingsbudgets zurückgeführt. Durch die konsequente Anwendung der neuen Prinzipien entsteht das Scalable View Synthesis Model (SVSM), das sich genauso gut wie reine Decoder‑Modelle skaliert.

SVSM erreicht eine überlegene Performance‑Compute‑Pareto‑Frontier und übertrifft den bisherigen Stand der Technik auf realen NVS‑Benchmarks. Dabei wird die benötigte Trainingsrechenleistung deutlich reduziert, was die Technologie für praktische Anwendungen noch attraktiver macht.