Hierarchische Konzept-Embeddings verbessern erklärbare Bildklassifikation

In der Computer Vision gewinnt das Konzept der „interpretable‑by‑design“-Modelle immer mehr an Bedeutung, weil sie nachvollziehbare Erklärungen für ihre Vorhersagen liefern. Bei der Bildklassifikation werden dabei häufig menschlich verständliche Konzepte aus einem Bild extrahiert und anschließend zur Klassifizierung genutzt.

Zur Rekonstruktion dieser Konzepte greifen viele Verfahren auf die latente Raumdarstellung von Vision‑Language‑Modellen zurück und stellen Bild‑Embeddings als eine spärliche Kombination von Konzept‑Embeddings dar. Dabei wird jedoch die hierarchische Struktur der Konzepte vernachlässigt, was zu korrekten Vorhersagen mit widersprüchlichen Erklärungen führen kann.

Die neue Methode Hierarchical Concept Embedding & Pursuit (HCEP) adressiert dieses Problem, indem sie eine Hierarchie von Konzept‑Embeddings im latenten Raum erzeugt und hierarchisches spärliches Codieren einsetzt. Dabei wird angenommen, dass die für ein Bild relevanten Konzepte einen wurzelbasierten Pfad in der Hierarchie bilden. Auf dieser Grundlage werden Bedingungen definiert, die die korrekten Konzepte im Embedding‑Raum identifizieren lassen.

Die Experimente zeigen, dass hierarchisches spärliches Codieren die hierarchischen Konzept‑Embeddings zuverlässig rekonstruiert, während herkömmliches spärliches Codieren versagt. Im Vergleich zu bestehenden Baselines erzielt HCEP höhere Werte bei Konzept‑Präzision und -Recall und bleibt dabei in der Klassifikationsgenauigkeit konkurrenzfähig.

Besonders bei begrenzten Datenmengen liefert HCEP eine überlegene Klassifikationsleistung und eine verbesserte Konzept‑Erkennung. Diese Ergebnisse unterstreichen, dass die Einbindung einer hierarchischen Struktur die Erklärbarkeit und die Gesamtleistung von Bildklassifikationsmodellen deutlich steigert.