Vision Transformers: Zero-Shot-Clustering von Tierbildern

Die manuelle Kennzeichnung von Tierfotos bleibt ein entscheidender Engpass in der Ökologie. Durch den Einsatz modernster Vision‑Transformer‑Modelle (ViT) lässt sich nun eine große Menge unlabelter Bilder direkt in artengerechte Cluster zerlegen – ohne dass zuvor Expertenlabels nötig sind.

In einer umfassenden Benchmarking‑Studie wurden fünf ViT‑Architekturen mit fünf Techniken der Dimensionsreduktion und vier Clustering‑Algorithmen (zwei überwacht, zwei unüberwacht) auf 60 Arten (30 Säugetiere, 30 Vögel) getestet. Für jede Art wurden 200 validierte Bilder zufällig ausgewählt, sodass die Modelle unter realistischen Bedingungen evaluiert wurden.

Die Ergebnisse sind beeindruckend: Mit DINOv3‑Einbettungen, t‑SNE‑Reduktion und überwachten hierarchischen Clustern erreichte das System einen V‑Measure‑Wert von 0,958 – nahezu perfekte artengerechte Gruppierung. Unüberwachte Ansätze erzielten ebenfalls starke Leistungen (V‑Measure 0,943) und identifizierten lediglich 1,14 % der Bilder als Ausreißer, die anschließend von Fachleuten überprüft werden müssen. Die Verfahren zeigten zudem eine hohe Robustheit gegenüber langen, schiefen Artenverteilungen und ermöglichten durch gezielte Überclusterung die Extraktion intra‑artiger Merkmale wie Geschlecht, Alter und Fellvariationen.

Zur Förderung der Forschung stellt das Team ein Open‑Source‑Benchmarking‑Toolkit zur Verfügung und gibt klare Empfehlungen, welche ViT‑Modelle und Clustering‑Methoden für Ökologen am besten geeignet sind. Damit wird ein bedeutender Schritt in Richtung automatisierter, skalierbarer Biodiversitätsüberwachung erreicht.