Blueprint: Multimodales Suchsystem revolutioniert die Suche in Archiven

Ein neues Tool namens Blueprint hat die Art und Weise, wie Ingenieure auf jahrzehntelange technische Zeichnungen und Dokumente zugreifen, grundlegend verändert. Durch die Kombination von Layout‑Erkennung, spezialisierter OCR und modernen Vision‑Language‑Modellen kann Blueprint automatisch strukturierte Metadaten aus über 770 000 unbeschrifteten Dateien extrahieren und so die Suche über verschiedene Standorte hinweg ermöglichen.

Blueprint arbeitet mit einer mehrstufigen Pipeline: Zunächst werden die relevanten Zeichenbereiche in einer Zeichnung erkannt. Anschließend wird eine region‑beschränkte OCR, die auf Vision‑Language‑Modellen basiert, eingesetzt, um Text und Symbole präzise zu erfassen. Die gewonnenen Daten werden normalisiert – beispielsweise werden DWG‑Nummern, Bauteil‑IDs und Standortkennungen einheitlich dargestellt. Schließlich kombiniert das System lexikalische und dichte Suchansätze und nutzt einen leichtgewichtigen, regionsbasierten Re‑Ranker, um die besten Treffer zu liefern.

In einer umfangreichen Evaluation mit 5 000 Dateien und 350 von Experten kuratierten Suchanfragen zeigte Blueprint einen absoluten Gewinn von 10,1 % bei Success@3 und eine relative Verbesserung von 18,9 % bei nDCG@3 gegenüber dem stärksten Vision‑Language‑Baseline. Die Ergebnisse gelten für Suchintentionen, die ausschließlich visuelle, textuelle oder multimodale Elemente enthalten. Oracle‑Ablationen deuten darauf hin, dass bei perfekter Regionenerkennung und OCR noch größere Leistungssteigerungen möglich sind.

Alle relevanten Daten – einschließlich Abfragen, Laufzeitresultate, Annotationen und den vollständigen Code – werden öffentlich zugänglich gemacht, um eine reproduzierbare Bewertung von Legacy‑Engineering‑Archiven zu ermöglichen. Blueprint setzt damit neue Maßstäbe für die effiziente und automatisierte Suche in technischen Dokumentationssammlungen.