ModHiFi: Hochpräzise Komponenten für Modelländerungen identifizieren
ModHiFi ist ein neuer Ansatz, der es ermöglicht, kritische Bausteine von Open‑Weight‑Modellen zu erkennen, ohne Zugriff auf Trainingsdaten, Labels oder die Verlustfunktion zu benötigen. Das ist besonders wichtig, weil viele vortrainierte Modelle keine Informationen über ihre Trainingsdaten preisgeben und damit die klassische Modifikation durch Pruning oder Unlearning erschwert wird.
Die Autoren zeigen theoretisch, dass bei Lipschitz‑kontinuierlichen Netzwerken – zu denen sowohl Convolutional Neural Networks als auch gut trainierte Transformer gehören – die globale Rekonstruktionsfehler linear durch lokale Rekonstruktionsfehler begrenzt werden können. Auf dieser Basis wird die Metrik „Subset Fidelity“ eingeführt, die die Bedeutung von Teilmengen von Modellkomponenten misst, indem sie deren lokales rekonstruktives Verhalten nutzt.
Auf Basis dieser Metrik entwickelt ModHiFi zwei Varianten: ModHiFi‑P für strukturiertes Pruning und ModHiFi‑U für klassenspezifisches Unlearning. ModHiFi‑P erzielt bei ImageNet‑Modellen einen Geschwindigkeitsgewinn von 11 % gegenüber dem aktuellen Stand der Technik, während ModHiFi‑U vollständiges Unlearning bei CIFAR‑10 ermöglicht. Beide Varianten benötigen keinerlei Trainingsdaten oder Verlustfunktionen und können mit synthetischen Daten arbeiten.
Durch die Kombination von theoretischer Fundierung und praktischer Effizienz bietet ModHiFi einen vielversprechenden Weg, um Open‑Weight‑Modelle in ressourcenbeschränkten Umgebungen zu optimieren und anzupassen, ohne die ursprünglichen Trainingsressourcen zu benötigen.