Vision‑Language‑Modelle erkennen Bauarbeiter: GPT‑4o führt bei Bildanalyse

Mit der zunehmenden Verbreitung von Robotern auf Baustellen wird die Fähigkeit, menschliches Verhalten zu erkennen und darauf zu reagieren, immer wichtiger. Nur so lassen sich sichere und effiziente Arbeitsabläufe gewährleisten.

Vision‑Language‑Modelle (VLMs) bieten hierfür eine vielversprechende Lösung. Sie können visuelle Inhalte verstehen und menschliche Handlungen sowie Emotionen identifizieren, ohne dass umfangreiche, domänenspezifische Trainingsdaten erforderlich sind. Das ist besonders attraktiv im Bauwesen, wo beschriftete Daten knapp sind und die Überwachung von Arbeitsvorgängen sowie emotionalen Zuständen entscheidend für Sicherheit und Produktivität ist.

In einer aktuellen Studie wurden drei führende VLMs – GPT‑4o, Florence 2 und LLaVa‑1.5 – auf ihre Fähigkeit getestet, Aktionen und Emotionen von Bauarbeitern anhand von 1.000 statischen Baustellenbildern zu erkennen. Die Bilder waren in zehn Aktions- und zehn Emotionskategorien klassifiziert, und die Modelle wurden über standardisierte Inferenzpipelines bewertet.

Die Ergebnisse zeigen, dass GPT‑4o die höchste Leistung erzielte: Bei der Aktionsklassifikation erreichte es einen F1‑Score von 0,756 und eine Genauigkeit von 0,799, während die Emotionsklassifikation einen F1‑Score von 0,712 und eine Genauigkeit von 0,773 erzielte. Florence 2 zeigte moderate Ergebnisse (F1‑Scores 0,497 bzw. 0,414), und LLaVa‑1.5 lag mit F1‑Scores von 0,466 bzw. 0,461 am niedrigsten.

Eine Analyse der Konfusionsmatrizen verdeutlichte, dass alle Modelle Schwierigkeiten hatten, semantisch nahe Kategorien zu unterscheiden – etwa die Unterscheidung zwischen Teamarbeit und Kommunikation.

Die Studie unterstreicht das Potenzial von GPT‑4o für die Überwachung von Bauarbeiten und die Erkennung von Gefahrenzuständen. Dennoch bleibt die Weiterentwicklung und Feinabstimmung der Modelle notwendig, um die Genauigkeit bei komplexen, realen Baustellenbedingungen weiter zu erhöhen.