DeepShare: Effiziente Private Inferenz durch geteilte ReLU-Operationen

In der Welt der privaten Inferenz (Private Inference, PI) steht die ReLU-Gate-Berechnung seit langem als Hauptengpass. Das neue Verfahren namens DeepShare löst dieses Problem, indem es die ReLU-Operationen über Kanäle und Schichten hinweg teilt. Durch die Nutzung einer einzigen DReLU‑Funktion – dem nichtlinearen Schritt der ReLU – können zahlreiche ReLU‑Operationen in einem Netzwerk gemeinsam verarbeitet werden.

DeepShare führt ein neues Aktivierungsmodul ein, bei dem die DReLU‑Operation nur auf einer Teilmenge der Kanäle, den sogenannten Prototype‑Kanälen, ausgeführt wird. Die übrigen Kanäle, die Replicate‑Kanäle, übernehmen die DReLU‑Ergebnisse ihrer jeweiligen Neuronen aus einem entsprechenden Prototype‑Neuron. Diese Strategie wird sogar über mehrere Schichten hinweg angewendet, was die Anzahl der DReLU‑Operationen in ResNet‑ähnlichen Architekturen drastisch reduziert.

Die theoretische Analyse zeigt, dass DeepShare sogar ein erweitertes XOR‑Problem mit nur einer Nichtlinearität und zwei Neuronen lösen kann – ein Ergebnis, das herkömmliche Formulierungen und andere PI‑spezifische Methoden nicht erreichen. In praktischen Tests erzielt DeepShare neue Bestleistungen (Stand der Technik) bei verschiedenen Klassifikationsaufgaben und bei Bildsegmentierung, was die Effizienz und Sicherheit privater Inferenz deutlich verbessert.