Physikbasierte Gaussian-Splatting: Dynamische 3D-Rekonstruktion verbessert

In einer kürzlich veröffentlichten Arbeit auf arXiv wird ein neues Verfahren vorgestellt, das die dynamische 3D‑Rekonstruktion aus monocularen Videos deutlich verbessert. Das Konzept, genannt Physics‑Informed Deformable Gaussian Splatting (PIDG), kombiniert die leistungsstarke Darstellung von 3D‑Gaussian‑Splatting mit physikbasierter Modellierung, um realistischere Bewegungen und Materialverhalten zu erfassen.

Traditionelle, rein datengetriebene 3D‑Gaussian‑Splatting‑Modelle stoßen häufig an ihre Grenzen, wenn es darum geht, komplexe, physikgetriebene Bewegungsmuster in dynamischen Szenen zu reproduzieren. PIDG adressiert dieses Problem, indem jeder Gauß‑Partikel als Lagrange‑Materialpunkt mit zeitlich variierenden konstitutiven Parametern behandelt wird. Durch die Einbindung von 2‑D‑Optikflüssen als Projektion der Bewegung wird die Modellierung zusätzlich verfeinert.

Das Verfahren nutzt eine statisch‑dynamisch entkoppelte 4‑D‑Hash‑Kodierung, um Geometrie und Bewegung effizient zu rekonstruieren. Anschließend wird die Cauchy‑Momentum‑Residual‑Formel als physikalische Nebenbedingung eingesetzt, wodurch die Geschwindigkeit und der konstitutive Stress jedes Partikels unabhängig vorhergesagt werden können. Eine weitere Supervision erfolgt, indem der Lagrange‑Partikelfluss mit dem kamerakompensierten Optikfluss abgeglichen wird, was die Konvergenz beschleunigt und die Generalisierung verbessert.

Experimentelle Ergebnisse auf einem maßgeschneiderten physikgetriebenen Datensatz sowie auf standardisierten synthetischen und realen Datensätzen zeigen signifikante Fortschritte in der physikalischen Konsistenz und der Qualität der monocularen dynamischen Rekonstruktion. Das neue Verfahren eröffnet damit neue Möglichkeiten für realistische 3D‑Szenen aus einfachen Videoaufnahmen und legt den Grundstein für eine einheitliche, physikbasierte Materialdarstellung in der Computergraphik.