ExLipBaB: Lipschitz-Konstante für Stückweise lineare neuronale Netze berechnen

Die Lipschitz-Konstante eines neuronalen Netzwerks liefert wertvolle Einblicke in dessen Robustheit, Generalisierbarkeit und sogar die Möglichkeit, invertierbare Architekturen zu konstruieren. Durch die Kontrolle dieser Konstante lassen sich robuste Modelle entwickeln und die Lernfähigkeit verbessern.

Während zahlreiche Verfahren existieren, die die Lipschitz-Konstante nur näherungsweise bestimmen, ist die exakte Berechnung als NP-schwer bekannt. Bislang beschränken sich die wenigen exakten Algorithmen auf ReLU-aktivierte Netze, was die Anwendbarkeit in vielen modernen, Lipschitz-konformen Architekturen einschränkt.

Der neue Ansatz ExLipBaB erweitert das bereits etablierte LipBaB-Verfahren um die Möglichkeit, die exakte Lipschitz-Konstante für beliebige stückweise lineare Netzwerke und beliebige p‑Normen zu berechnen. Dabei können Modelle mit klassischen Aktivierungen wie ReLU oder LeakyReLU, aber auch mit neueren, Lipschitz-konformen Funktionen wie GroupSort, MinMax, FullSort oder MaxPool verwendet werden.

Diese Erweiterung eröffnet praktische Einsatzmöglichkeiten: Sie ermöglicht das Benchmarking neuer Methoden, die Berechnung von Robustheitsgarantien für kleine Modelle auf sensiblen Daten und legt damit einen wichtigen Grundstein für zukünftige Forschung im Bereich der Lipschitz-konformen neuronalen Netze.