Tempora: Neue Bewertungsplattform für Echtzeit-Adaptation von ML-Modellen

Die neu veröffentlichte Studie „Tempora: Characterising the Time-Contingent Utility of Online Test-Time Adaptation“ stellt ein umfassendes Framework vor, das die Leistungsfähigkeit von Test‑Time‑Adaptation (TTA) unter realen zeitlichen Beschränkungen bewertet. TTA ermöglicht es Modellen, sich während der Inferenz an veränderte Datenverteilungen anzupassen, indem sie unlabelled Samples nutzen. Traditionelle Tests gehen jedoch von unbegrenzter Rechenzeit aus und ignorieren damit die entscheidende Wechselwirkung zwischen Genauigkeit und Latenz.

Tempora definiert drei temporale Szenarien, die typische Einsatzbedingungen simulieren: (1) asynchrone Streams mit festen Deadlines, (2) interaktive Anwendungen, bei denen die Wertigkeit einer Vorhersage mit der Verzögerung abnimmt, und (3) budgetbeschränkte Deployments, bei denen die Gesamtkosten berücksichtigt werden. Für jedes Szenario werden spezifische Utility‑Metriken entwickelt, die die Genauigkeit‑Latenz‑Trade‑off‑Balance quantifizieren.

Durch die Anwendung von Tempora auf sieben TTA‑Methoden bei ImageNet‑C wurden 240 unterschiedliche zeitliche Tests durchgeführt. Die Ergebnisse zeigen, dass herkömmliche Ranglisten nicht mehr gültig sind, wenn zeitliche Beschränkungen einbezogen werden. Die bislang führende Methode ETA erreicht in 41,2 % der Tests unter Zeitdruck schlechtere Ergebnisse. Der Nutzen variiert stark je nach Art der Störung und der jeweiligen zeitlichen Belastung, sodass kein einzelner Ansatz als Allzwecklösung hervorsticht.

Tempora bietet damit erstmals ein systematisches Verfahren, um die praktische Eignung von TTA‑Algorithmen in zeitkritischen Anwendungen zu beurteilen. Entwickler und Forscher können nun gezielt die Methode auswählen, die unter den spezifischen Latenz‑ und Budgetbedingungen die höchste Nutzen‑/Effizienz‑Rate liefert.