Große multimodale Modelle schlagen sich bei visueller Artenidentifikation nicht durch

Die visuelle Artenidentifikation (VSR) ist ein zentrales Werkzeug für Biodiversitäts‑, Evolutions‑ und Ökosystemforschung. Traditionell erfordert die Erstellung von Modellen für VSR riesige Mengen annotierter Bilder, wobei die präzise Kennzeichnung von Arten Expertenwissen voraussetzt. In der Praxis können Fachleute jedoch nur wenige Beispiele liefern, was den Einsatz von Few‑Shot‑Learning (FSL) notwendig macht.

Große multimodale Modelle (LMMs) haben in den letzten Jahren beeindruckende Leistungen bei allgemeinen Erkennungsaufgaben gezeigt. Die Frage war daher, ob LMMs auch in der hochspezialisierten VSR‑Domäne überlegen sind. Die Ergebnisse überraschen: LMMs schneiden bei VSR deutlich schlechter ab als einfache FSL‑Expertmodelle, die lediglich einen vortrainierten visuellen Encoder auf wenigen Beispielen feinjustieren.

Eine eingehende Analyse hat jedoch einen interessanten Nutzen von LMMs aufgezeigt: Sie können die fehlerhaften Vorhersagen der Expertmodelle nachträglich korrigieren. Durch das Prompten eines LMMs mit den Top‑Vorhersagen eines FSL‑Modells – ergänzt um Softmax‑Konfidenzwerte und wenige visuelle Beispiele – gelingt es dem LMM, die korrekte Art zu identifizieren.

Auf dieser Erkenntnis basiert die neue Methode „Post‑hoc Correction“ (POC). POC nutzt ein LMM, um die Rangfolge der Top‑Vorhersagen eines Expertmodells neu zu bewerten. In Tests an fünf anspruchsvollen VSR‑Benchmarks übertrifft POC bisherige FSL‑Ansätze deutlich, ohne dass zusätzliche Trainingsdaten erforderlich sind.