Mehrere Modelle, ein Ziel: Konsistente Vorhersagen durch Rashomon-Set-Reduktion
In der Welt der maschinellen Lernmodelle gibt es oft mehrere, gleichermaßen genaue Modelle, die für dieselbe Vorhersageaufgabe eingesetzt werden können. Diese Vielfalt führt zu sogenannter Predictive Multiplicity, bei der ein sogenanntes Rashomon-Set aus Modellen ähnliche Genauigkeiten erreicht, aber in ihren individuellen Vorhersagen stark divergiert. Solche Unstimmigkeiten können das Vertrauen in kritische Anwendungen, bei denen konsistente Entscheidungen entscheidend sind, erheblich erschüttern.
Um dieses Problem anzugehen, wurden drei innovative Ansätze entwickelt, die die Vorhersageinkonsistenz innerhalb des Rashomon-Sets reduzieren. Der erste Ansatz, die Outlier‑Korrektur, identifiziert Ausreißer – Datenpunkte, deren Labels von keinem der guten Modelle korrekt vorhergesagt werden können. Durch das Beheben dieser Ausreißer wird die Varianz der Vorhersagen in lokalen Bereichen signifikant gesenkt.
Der zweite Ansatz, das lokale Patchen, erkennt und korrigiert Biases, die in bestimmten Regionen um einen Testpunkt herum auftreten. Mithilfe eines Validierungsdatensatzes werden diese Verzerrungen identifiziert und beseitigt, wodurch die Multiplikation weiter reduziert wird.
Der dritte Ansatz, die paarweise Rekoncilierung, sucht nach Modellen, die in einem Gebiet um den Testpunkt unterschiedliche Vorhersagen liefern. Durch gezielte Anpassung der widersprüchlichen Vorhersagen werden die Modelle weniger voreingenommen und die Konsistenz erhöht.
Diese drei Methoden können einzeln oder kombiniert eingesetzt werden und bieten jeweils spezifische Vorteile. Nach der Rekoncilierung können die konsolidierten Vorhersagen in ein einzelnes, interpretierbares Modell überführt werden, das für den Einsatz in der Praxis geeignet ist. In umfangreichen Experimenten über mehrere Datensätze hinweg haben die Autoren gezeigt, dass die vorgeschlagenen Techniken die Diskrepanzmetriken deutlich senken, ohne die Wettbewerbsfähigkeit der Genauigkeit zu beeinträchtigen.