Reinforcement‑Learning optimiert dynamische Job‑Shop‑Planung unter Unsicherheit
Ein neues, auf Reinforcement Learning basierendes Framework wurde vorgestellt, das dynamische Job‑Shop‑Scheduling‑Probleme (JSSP) unter Unsicherheit effizient löst. Dabei werden zufällige Job‑Ankünfte und unerwartete Maschinenausfälle berücksichtigt.
Das Verfahren nutzt ein modellbasiertes Paradigma: Coloured Timed Petri Nets beschreiben die Produktionsumgebung, während Maskable Proximal Policy Optimization (PPO) dem Agenten erlaubt, in Echtzeit Entscheidungen zu treffen und gleichzeitig nur zulässige Aktionen auszuwählen.
Zur Simulation realistischer Industriebedingungen werden die Job‑Ankünfte mit einer Gamma‑Verteilung modelliert, die komplexe zeitliche Muster wie Burst‑Phasen und Clusterbildung abbildet. Maschinenausfälle werden über eine Weibull‑Verteilung dargestellt, die altersabhängige Verschleiß‑ und Ausfalldynamiken repräsentiert.
Das System untersucht zwei Strategien zur Aktionsmaskierung: eine nicht‑gradientische Methode, die die Wahrscheinlichkeiten ungültiger Aktionen überschreibt, und eine gradientenbasierte Variante, die negative Gradienten für unerlaubte Aktionen im Policy‑Netzwerk zuweist.
Umfangreiche Experimente an dynamischen JSSP‑Benchmarks zeigen, dass das neue Verfahren konsequent die Makespan‑Minimierung gegenüber traditionellen heuristischen und regelbasierten Ansätzen verbessert. Die Kombination aus interpretierbaren Petri‑Netz‑Modellen und adaptiven Reinforcement‑Learning‑Politiken liefert ein robustes, skalierbares und erklärbares System für die Echtzeit‑Planung in dynamischen Fertigungsumgebungen.