Surrogatverluste minimieren: Technik verbessert Entscheidungsorientiertes Lernen

In der Entscheidungsgestützten Lernforschung (Decision‑Focused Learning, DFL) wird ein Machine‑Learning‑Modell darauf trainiert, die Parameter eines Optimierungsproblems vorherzusagen, um den Entscheidungs‑Regret direkt zu minimieren. Dabei ist die Ableitung der Lösung des Optimierungsproblems nach den vorhergesagten Parametern entscheidend. Für viele Probleme, insbesondere lineare Programme (LPs), ist diese Ableitung jedoch fast überall gleich Null, was die klassische gradientenbasierte DFL erschwert.

Aktuelle Ansätze versuchen, dieses Problem zu umgehen, indem sie das LP entweder durch Hinzufügen eines quadratischen Regularisierers glätten und den Regret‑Wert direkt minimieren, oder indem sie Surrogatverluste nutzen, die informative (Sub)Gradienten liefern. Die vorliegende Arbeit zeigt, dass die Glättung allein nicht ausreicht: Der Regret‑Wert bleibt über große Parameterbereiche konstant, sodass die Gradienten weiterhin verschwinden.

Stattdessen schlagen die Autoren vor, Surrogatverluste zu minimieren, selbst wenn ein differenzierbarer Optimierungs‑Layer eingesetzt wird. Experimente demonstrieren, dass dieser Ansatz differenzierbare Optimierungs‑Layern ermöglicht, Regret‑Werte zu erreichen, die gleichwertig oder besser sind als bei herkömmlichen Surrogat‑Loss‑Methoden. Darüber hinaus gilt das Ergebnis auch für DYS‑Net, eine neuere Technik, die approximative Lösungen und Gradienten über Feed‑Forward‑Operationen berechnet.