KI-gestützte Gefahrenerkennung auf Baustellen: Multimodale Modelle im Einsatz

Eine neue Studie aus dem arXiv-Repository präsentiert ein multimodales KI-Framework, das die Sicherheit auf Baustellen durch die Kombination von Text- und Bilddaten deutlich verbessern soll. In der Bauindustrie entstehen Sicherheitsdaten in verschiedensten Formaten – von schriftlichen Unfallberichten über Inspektionsprotokolle bis hin zu Fotos vor Ort. Diese heterogenen Datenquellen erschweren die Identifikation von Gefahren, wenn man traditionelle Analyseansätze nutzt.

Das vorgestellte System nutzt große Sprachmodelle (LLMs) und Vision‑Language‑Modelle (VLMs), um aus Texten strukturierte Erkenntnisse zu extrahieren und gleichzeitig Bildmaterial zu interpretieren. Zwei praxisnahe Fallstudien demonstrieren die Leistungsfähigkeit dieser Technik. In der ersten Studie wird ein hybrider Pipeline-Ansatz mit GPT‑4o und GPT‑4o‑Mini eingesetzt, um aus 28.000 OSHA-Unfallberichten zwischen 2000 und 2025 strukturierte Sicherheitsinformationen zu gewinnen.

Die zweite Fallstudie erweitert die Untersuchung um die Open‑Source‑VLMs Molmo 7B und Qwen2 VL 2B. Auf Basis des öffentlichen ConstructionSite10k‑Datensatzes werden die Modelle auf die Erkennung von regelbasierten Sicherheitsverstößen mittels natürlicher Sprachaufforderungen getestet. Trotz ihrer geringeren Größe erzielen Molmo 7B und Qwen2 VL 2B in bestimmten Prompt‑Konfigurationen eine konkurrenzfähige Leistung gegenüber proprietären Modellen, was die Machbarkeit ressourcenschonender multimodaler Systeme für die regelbasierte Sicherheitsüberwachung unterstreicht.

Die Ergebnisse zeigen, dass KI‑gestützte, multimodale Ansätze nicht nur die Effizienz der Gefahrenidentifikation erhöhen, sondern auch kosteneffizienter und skalierbarer sind als herkömmliche Methoden. Diese Fortschritte markieren einen wichtigen Schritt hin zu sichereren Baustellen und eröffnen neue Möglichkeiten für die Integration von KI in die Bauwerksüberwachung.