LLM-Embeddings verbessern Gebäudesemantik in AI-Training

Eine präzise Darstellung von Gebäudesemantik – sowohl generische Objektarten als auch spezifische Untertypen – ist entscheidend für die Ausbildung von KI-Modellen in der Architektur-, Ingenieur- und Bauindustrie. Traditionelle Kodierungsmethoden wie One-Hot vermitteln oft nicht die feinen Beziehungen zwischen eng verwandten Untertypen, was die semantische Wahrnehmung der KI einschränkt.

Um dieses Problem zu lösen, schlägt die Studie einen neuen Trainingsansatz vor, bei dem große Sprachmodell-Embeddings (z. B. OpenAI GPT und Meta LLaMA) als Kodierungen verwendet werden, um feinere Unterscheidungen in der Gebäudesemantik zu erhalten.

Die Methode wurde anhand von GraphSAGE-Modellen getestet, die 42 Gebäudeelement-Untertypen in fünf Hochhaus-BIMs klassifizierten. Dabei wurden verschiedene Embedding-Dimensionen ausprobiert: die ursprünglichen hochdimensionalen LLM-Embeddings (1 536, 3 072 oder 4 096) sowie 1 024‑dimensionale komprimierte Embeddings, die mit dem Matryoshka‑Modell erzeugt wurden.

Die Ergebnisse zeigten, dass LLM‑Kodierungen die herkömmliche One-Hot-Basis übertrafen. Das komprimierte Llama‑3‑Embedding erreichte einen gewichteten F1‑Score von 0,8766, während One-Hot nur 0,8475 erzielte. Diese Zahlen unterstreichen das Potenzial, LLM‑basierte Kodierungen einzusetzen, um die Fähigkeit von KI zur Interpretation komplexer, domänenspezifischer Gebäudesemantik zu verbessern.

Mit der fortschreitenden Entwicklung von LLMs und Dimensionalitätsreduktionstechniken bietet dieser Ansatz ein vielversprechendes Fundament für eine breite Anwendung in der semantischen Analyse von Bauprojekten.