Speed‑Up‑Faktor: Neue Messgröße für Active Learning

Maschinelles Lernen profitiert stark von umfangreichen, annotierten Datensätzen – doch die Beschaffung dieser Daten ist oft teuer und zeitaufwendig. Active Learning (AL) versucht, das Verhältnis zwischen Modellleistung und Annotationsaufwand zu optimieren, indem es gezielt die informativsten Beispiele auswählt. Trotz zahlreicher Entwicklungen neuer Abfrageverfahren fehlt bislang ein geeignetes Messinstrument, um den iterativen Lernprozess objektiv zu bewerten.

In dieser Arbeit wird ein Überblick über acht Jahre AL‑Evaluationsforschung gegeben und der „Speed‑Up‑Faktor“ als quantitative, mehrstufige Leistungsmetrik eingeführt. Der Speed‑Up‑Faktor gibt an, welcher Anteil der zu annotierenden Stichprobe nötig ist, um die gleiche Modellleistung wie bei zufälliger Stichprobenziehung zu erreichen. Durch Experimente mit vier Datensätzen aus unterschiedlichen Domänen und sieben verschiedenen Abfrageverfahren wird die neue Metrik empirisch getestet und mit aktuellen AL‑Leistungskennzahlen verglichen.

Die Ergebnisse bestätigen die zugrunde liegenden Annahmen, zeigen die hohe Genauigkeit des Speed‑Up‑Faktors bei der Erfassung des benötigten Sample‑Verhältnisses und demonstrieren seine überlegene Stabilität über mehrere Iterationen hinweg. Damit bietet die neue Metrik ein robustes Werkzeug, um die Effizienz von Active‑Learning‑Strategien präzise zu messen und weiter zu verbessern.