Neues Benchmark für IoT-Anomalieerkennung: Event-Level-Tests mit realistischen Störungen

Ein neues Benchmark-Protokoll für die Anomalieerkennung in IoT-Zeitreihen wurde vorgestellt, das die Bewertung auf Ereignisebene statt auf Punktbasis durchführt. Durch die Einführung von einheitlichen Event-Level-Augmentierungen – wie kalibrierter Sensorabfall, linearer und logarithmischer Drift, additive Rauscheffekte und Fensterverschiebungen – simuliert das Verfahren realistische Störungen, die in industriellen Umgebungen häufig auftreten.

Die Autoren haben 14 führende Modelle auf fünf öffentlichen Datensätzen (SWaT, WADI, SMD, SKAB, TEP) sowie auf zwei industriellen Datensätzen (Dampfturbine, Kernkraftwerk-Turbogenerator) getestet. Dabei wurden einheitliche Datenaufteilungen und Ereignisaggregation verwendet, um einen fairen Vergleich zu gewährleisten.

Die Ergebnisse zeigen, dass es keinen universellen Gewinner gibt. Graphstrukturierte Modelle schneiden besonders gut bei Sensorabfall und langen Ereignissen ab, während Dichte- und Flussmodelle bei sauberen, stationären Anlagen stark sind, aber bei monotone Drift empfindlich reagieren. Spektrale CNNs liefern die besten Ergebnisse, wenn die Daten starke Periodizität aufweisen. Rekonstruktions-Autoencoder werden nach einer grundlegenden Sensorprüfung wettbewerbsfähig, und prädiktive bzw. hybride dynamische Modelle helfen, wenn Fehler die zeitlichen Abhängigkeiten brechen, bleiben jedoch empfindlich gegenüber Fensterverschiebungen.

Das neue Protokoll liefert zudem wertvolle Erkenntnisse für die Modellwahl: Auf SWaT unter logarithmischem Drift zeigte sich beispielsweise, dass der Ersatz von Normalisierungsflüssen durch Gaußsche Dichtenschätzungen die Leistung in Hochstress-Szenarien deutlich verbessert. Insgesamt bietet die Studie einen praxisnahen Rahmen, um IoT-Anomalieerkennungsmodelle unter realistischen Bedingungen zu bewerten und fundierte Designentscheidungen zu treffen.