Good‑Turing‑Ansatz misst Risiko unberücksichtigter Zustände in ML

In einer kürzlich veröffentlichten Studie haben Forscher ein neues Messinstrument namens Blind‑Spot‑Mass vorgestellt, das das Risiko von unberücksichtigten Zuständen in Machine‑Learning‑Systemen quantifiziert. Das Konzept basiert auf dem Good‑Turing‑Unseen‑Species‑Estimator und liefert eine klare Schätzung, wie viel der tatsächlichen Betriebsverteilung in Bereichen liegt, die in Trainings‑ und Testdaten unterrepräsentiert sind.

Moderne ML‑Modelle arbeiten häufig mit stark schiefen Zustandsverteilungen. Das bedeutet, dass seltene, aber gültige Zustände in der Praxis kaum vertreten sind, obwohl sie für die Zuverlässigkeit entscheidend sein können. Dieses Phänomen, das die Autoren als „Coverage Blindness“ bezeichnen, lässt Modelle auf Standard‑Testsets zwar gut abschneiden, während sie in großen Teilen des Einsatzbereichs unzuverlässig bleiben.

Der Blind‑Spot‑Mass‑Wert B_n(τ) schätzt die gesamte Wahrscheinlichkeit für Zustände, deren empirische Unterstützung unter einem Schwellenwert τ liegt. Durch die Anwendung des Good‑Turing‑Verfahrens erhält man eine robuste, datenunabhängige Abschätzung, wie viel des Betriebsraums in kritischen, unter‑unterstützten Regimen verbleibt. Zusätzlich leitet die Methode eine „Coverage‑Imposed Accuracy Ceiling“ ab, die die Gesamtleistung in unterstützte und blinde Komponenten zerlegt und so die Grenzen von Modellkapazität und Datenverfügbarkeit trennt.

Die Autoren haben die Methode zunächst bei der Erkennung menschlicher Aktivitäten mit Handgelenk‑Sensoren getestet und anschließend die gleiche Analyse auf die MIMIC‑IV‑Datenbank mit 275 Krankenhausaufenthalten angewendet. In beiden Fällen konvergierte die Blind‑Spot‑Mass‑Kurve bei τ = 5 auf 95 %, unabhängig von Modus, Merkmalen, Labels oder Anwendungsbereich. Diese konsistenten Ergebnisse über völlig unabhängige Domänen hinweg zeigen, dass Blind‑Spot‑Mass ein generelles Werkzeug zur Quantifizierung von Kombinationsrisiken in ML‑Systemen ist.

Die Einführung dieses Frameworks bietet Praktikern ein neues Mittel, um die Zuverlässigkeit von ML‑Modellen im Einsatz zu bewerten, Datenengpässe zu identifizieren und gezielt Verbesserungen vorzunehmen. Damit wird ein wichtiger Schritt in Richtung sicherer, vertrauenswürdiger KI‑Anwendungen getan.