Mesh RAG: Retrieval-basierte Optimierung für Autoregressive Mesh-Generierung

3‑D‑Meshes bilden das Fundament zahlreicher moderner Anwendungen – von der industriellen Produktgestaltung über Videospiele bis hin zu Simulationen und Robotik. Traditionell werden sie von Künstlern von Hand erstellt, ein Prozess, der zeitaufwendig und schwer skalierbar ist. Um die Erstellung von Meshes zu automatisieren und zu beschleunigen, haben autoregressive Modelle an Bedeutung gewonnen.

Aktuelle Ansätze zur Qualitätsverbesserung setzen meist auf größere Modelle oder längere Sequenzen, was die Generierungszeit verlängert und einen starken Kompromiss zwischen Qualität und Geschwindigkeit erfordert. Zudem erschwert die sequentielle Natur die schrittweise Bearbeitung von Meshes.

Die neue Methode namens Mesh RAG löst diese Probleme, indem sie ein trainingsfreies, plug‑and‑play‑Framework einführt. Inspiriert von Retrieval‑Augmented Generation (RAG) für Sprachmodelle, nutzt Mesh RAG Punktwolken‑Segmentierung, räumliche Transformationen und Registrierungen, um Mesh‑Komponenten abzurufen, zu generieren und zu integrieren. Durch die Trennung von Generierung und strenger Sequenzabhängigkeit ermöglicht sie effiziente, parallelisierbare Inferenz.

Tests zeigen, dass Mesh RAG die Mesh‑Qualität deutlich steigert, die Generierungszeit im Vergleich zu sequentiellen Teilvorhersagen verkürzt und die inkrementelle Bearbeitung erleichtert – und das alles ohne erneutes Training des Modells.