Neue Methode liefert hierarchische Vorhersagen mit garantierter Zuverlässigkeit

Conformal Prediction (CP) ist ein etabliertes Verfahren, das Unsicherheit in maschinellen Lernmodellen quantifiziert und zuverlässige Vorhersagen mit endlicher Stichprobendeckung garantiert. Bei Klassifikationsaufgaben erzeugt CP jedoch eine flache Menge möglicher Labels, die die wahre Klasse mit hoher Wahrscheinlichkeit einschließt, ohne dabei strukturelle Beziehungen zwischen den Klassen zu berücksichtigen.

Die neue Arbeit präsentiert „Hierarchical Conformal Classification“ (HCC), eine Erweiterung von CP, die Klassenhierarchien in die Struktur und Semantik der Vorhersagemengen integriert. Durch die Einbeziehung von semantischen Beziehungen zwischen Klassen können Vorhersagen nicht nur genauer, sondern auch besser verständlich für Anwender sein.

HCC wird als ein konstraintes Optimierungsproblem formuliert, dessen Lösungen Vorhersagemengen aus Knoten auf unterschiedlichen Hierarchieebenen erzeugen, während die Deckungsgarantie erhalten bleibt. Die Autoren zeigen, dass ein deutlich kleiner, gut strukturierter Teil der möglichen Kandidaten ausreicht, um die Deckung zu gewährleisten und gleichzeitig die optimale Lösung zu liefern.

Eine empirische Bewertung auf drei neuen Benchmarks – Audio, Bild und Text – demonstriert die Vorteile der hierarchischen Herangehensweise. Darüber hinaus verdeutlicht eine Nutzerstudie, dass Annotatoren hierarchische Vorhersagemengen deutlich bevorzugen, weil sie die relevanten Zusammenhänge besser widerspiegeln.