Panther: Schnellere, günstigere Deep‑Learning‑Berechnungen mit RandNLA

Die Entwicklung moderner Deep‑Learning‑Modelle wird zunehmend durch die begrenzte GPU‑Speicherkapazität und Rechenleistung eingeschränkt. Randomized Numerical Linear Algebra (RandNLA) bietet bewährte Techniken zur Kompression dieser Modelle, doch bislang fehlt eine einheitliche, produktionsreife Bibliothek, die diese Methoden breit einsetzbar macht.

Mit Panther, einer PyTorch‑kompatiblen Bibliothek, wird dieses Problem angegangen. Panther bündelt etablierte RandNLA‑Algorithmen in ein einziges, hochleistungsfähiges Framework und liefert effiziente, drop‑in‑Ersatzkomponenten für Standard‑Module wie sketched lineare Schichten, 2‑D‑Convolution, Multi‑Head‑Attention und randomisierte Matrix‑Decomposition (z. B. pivoted CholeskyQR). Durch einen eigenen C++/CUDA‑Backend (pawX) kann Panther sowohl auf CPUs als auch auf GPUs ausgeführt werden.

In Tests zeigt Panther, dass durch den Austausch der üblichen PyTorch‑linearen Schichten gegen Panther‑Layer – mit nur wenigen Zeilen Code – Speicherplatz bis zu 75 % eingespart werden kann, ohne die Verlustfunktion zu verschlechtern. Der Ansatz wurde erfolgreich auf BERT angewendet und liefert vergleichbare Ergebnisse wie die Standardimplementierung.

Der Quellcode steht unter der MIT‑Lizenz auf GitHub zur Verfügung: https://github.com/FahdSeddik/panther. Ein Demonstrationsvideo ist unter https://youtu.be/7M3RQb4KWxs abrufbar.