Neurale Netzwerke für beschränkte Optimierung: Schnelle, lernbare Lösungen

In einer neuen Studie werden unrolled neural networks vorgestellt, die klassische Dual-Ascent-Algorithmen für beschränkte Optimierungsprobleme ersetzen. Das Konzept, als „Constrained Dual Unrolling“ (CDU) bezeichnet, nutzt zwei miteinander gekoppelte Netzwerke, um gleichzeitig die Sattelpunkt-Lösung der Lagrange-Funktion zu approximieren.

Das primale Netzwerk verhält sich wie ein iterativer Optimierer: Für einen gegebenen Dual-Multiplikator, der aus einer unbekannten Verteilung gezogen wird, sucht es einen stationären Punkt der Lagrange-Funktion. Das duale Netzwerk hingegen erzeugt Schrittfelder, die sich schrittweise den optimalen Multiplikatoren nähern, und ruft dabei in jeder Schicht das primale Netzwerk auf.

Im Gegensatz zu herkömmlichen Unrolling-Methoden wird hier die Dual-Ascent‑ und Primal-Descent‑Dynamik durch gezielte Lernbeschränkungen erzwingen. Die Trainingsaufgabe der beiden Netzwerke wird als verschachtelte Optimierung formuliert, die in einem alternierenden Verfahren gelöst wird. Dadurch wird die Unsicherheit bezüglich der Multiplikatorverteilung reduziert, die für das Training des primalen Netzwerks erforderlich ist.

Numerische Experimente auf gemischten ganzzahligen quadratischen Programmen (MIQPs) sowie auf der Leistungszuweisung in drahtlosen Netzwerken zeigen, dass CDU nahezu optimale, nahezu zulässige Lösungen liefert und dabei eine starke Generalisierung auf Daten außerhalb der Trainingsverteilung erreicht.