AnyThermal: Universelle Wärmebild-Features für vielfältige Aufgaben

Researchers have unveiled AnyThermal, ein neuer Wärmebild-Backbone, der robuste, aufgabenunabhängige Features liefert und sich für eine breite Palette von Anwendungen eignet – von der multimodalen Ortserkennung über die Wärmebildsegmentierung bis hin zur monocularen Tiefenschätzung.

Im Gegensatz zu bisherigen Wärmebild-Backbones, die meist auf kleinen, domänenspezifischen Datensätzen trainiert werden und dadurch nur in begrenzten Umgebungen und Aufgaben funktionieren, kann AnyThermal in Innenräumen, aus der Luft, im Gelände und in urbanen Settings eingesetzt werden – und das ohne zusätzliche, aufgabenbezogene Trainingsschritte.

Der Schlüssel zum Erfolg liegt darin, die Feature‑Repräsentationen aus visuellen Grundmodellen wie DINOv2 zu extrahieren und in einen Wärmebild‑Encoder zu überführen. Durch die Nutzung von Wärmebilddaten aus mehreren Umgebungen entsteht ein universelles Feature‑Set, das über verschiedene Aufgaben hinweg einsetzbar ist.

Um die Vielfalt der vorhandenen RGB‑Wärmebild‑Datensätze zu erweitern, wurde die TartanRGBT-Plattform entwickelt – die erste Open‑Source‑Plattform für synchronisierte RGB‑Wärmebild‑Aufnahmen. Mit dieser Plattform wurde das TartanRGBT‑Dataset erstellt, ein ausgewogenes und vielfältiges Set, das in vier unterschiedlichen Umgebungen gesammelt wurde.

Tests zeigen, dass AnyThermal und die TartanRGBT‑Daten die aktuelle Spitzenleistung übertreffen, mit Verbesserungen von bis zu 36 % bei verschiedenen Aufgaben und Umgebungen auf bestehenden Benchmark‑Datensätzen.