Lipschitz-basierte Robustheitszertifizierung für Fließkomma-Ausführung

Ein neues arXiv-Posting beleuchtet ein bislang übersehtes Problem in der Praxis der neuronalen Netzwerksicherheit: Die meisten Robustheitszertifikate beruhen auf Sensitivitätsanalysen, die in der Theorie mit exakter Rechenarithmetik arbeiten. In der Realität laufen jedoch die Modelle in Fließkomma-Umgebungen, was zu einer signifikanten Diskrepanz zwischen den theoretischen Garantien und dem tatsächlichen Verhalten führt.

Die Autoren demonstrieren anhand konkreter Gegenbeispiele, dass bereits verifizierte Zertifikate bei Fließkomma-Ausführung – insbesondere bei niedrigen Präzisionen wie float16 – versagen können. Diese Entdeckungen unterstreichen die Dringlichkeit, die theoretische Basis an die reale Rechenumgebung anzupassen.

Um dem entgegenzuwirken, entwickeln die Forscher eine formale, kompositionsfähige Theorie, die Lipschitz-basierte Sensitivitätsgrenzen mit der Sensitivität von Fließkomma-Ausführungen unter Standard-Rundungsfehlermodellen verknüpft. Der Ansatz ist speziell auf Feed‑Forward‑Netze mit ReLU-Aktivierungen zugeschnitten.

Aus dieser Theorie resultieren robuste Bedingungen, die die Zertifizierungsgenauigkeit unter Fließkomma-Ausführung garantieren. Dazu gehören Grenzwerte für die Zertifikatsdegradation, Kriterien zur Vermeidung von Überläufen und formalisierte Soundness-Ergebnisse, die die Vertrauenswürdigkeit der Robustheitsgarantien in realen Systemen stärken.