RL-Ansatz erkennt Maschinenfehler frühzeitig ohne Labels

Reinforcement Learning (RL) wird zunehmend als vielversprechende Methode zur Erkennung von Maschinenfehlern eingesetzt. In der aktuellen Studie wird jedoch ein bisher wenig genutzter Ansatz vorgestellt, der die Stärken von RL voll ausnutzt: Anstatt Fehler als reine Klassifikationsaufgabe zu behandeln, wird die Fehlersuche als ein Offline-Problem der inversen Belohnungslernens formuliert. Dadurch kann das System die Belohnungsdynamik direkt aus gesunden Betriebssequenzen lernen und muss keine manuellen Belohnungen oder Fehlerlabels vorab definieren.

Der Kern des Modells ist das Adversarial Inverse Reinforcement Learning, bei dem ein Diskriminator trainiert wird, um zwischen normalen (Experten-) und vom Agenten erzeugten Übergängen zu unterscheiden. Die vom Diskriminator erlernte Belohnung fungiert anschließend als Anomalie-Score: Je höher der Score, desto stärker weicht das Verhalten von der normalen Betriebsweise ab. Dieses Verfahren liefert ein robustes Indiz für potenzielle Fehlfunktionen, ohne dass explizite Fehlerlabels benötigt werden.

In umfangreichen Tests auf drei Benchmark-Datensätzen – HUMS2023, IMS und XJTU-SY – zeigte das Modell konsistent niedrige Anomalie-Scores für gesunde Proben und hohe Scores für fehlerhafte. Damit ermöglicht es eine frühzeitige und zuverlässige Fehlererkennung, die sich nahtlos in datengetriebene Industrieumgebungen integrieren lässt. Die Arbeit demonstriert, wie die sequentielle Entscheidungsfindung von RL mit der zeitlichen Struktur von Maschinenfehlerdiagnosen verknüpft werden kann, und ebnet den Weg für zukünftige RL-basierte Diagnostiklösungen.