Neuronenlöschung in Vision‑Language‑Modellen führt zum Sprachkern‑Zusammenbruch

Eine neue Studie auf arXiv (2512.00918v1) zeigt, dass das Entfernen nur sehr kleiner Teile der neuronalen Netzwerke in großen Vision‑Language‑Modellen (LVLMs) zu einem katastrophalen Zusammenbruch des Sprachkerns führen kann. Die Forscher untersuchten die strukturellen Schwachstellen von LVLMs, um kritische Neuronen zu identifizieren, deren Auslöschung die Leistungsfähigkeit des Modells drastisch reduziert.

Zur Erkennung dieser kritischen Neuronen entwickelte das Team die Methode CAN (Consistently Activated Neurons). CAN maskiert schrittweise Neuronen, um zu beobachten, welche Aktivierungen für das korrekte Funktionieren des Modells unverzichtbar sind. Durch diese progressive Maskierung konnten die Autoren die wichtigsten Neuronen im Sprachteil des Modells isolieren.

Die Experimente wurden an den Modellen LLaVA‑1.5‑7b‑hf und InstructBLIP‑Vicuna‑7b durchgeführt. Dabei stellte sich heraus, dass bereits das Maskieren von nur vier Neuronen – in extremen Fällen – einen vollständigen Zusammenbruch auslöst. Die kritischen Neuronen liegen überwiegend im Sprachmodell und nicht in den visuellen Komponenten. Besonders anfällig ist die Down‑Projection‑Schicht, die die Sprachinformationen in die endgültige Ausgabe überführt.

Ein weiteres bemerkenswertes Ergebnis ist das zweistufige Kollapsmuster: Zunächst verschlechtert sich die Ausdrucksfähigkeit des Modells, gefolgt von einem plötzlichen, vollständigen Zusammenbruch. Diese Erkenntnisse liefern wichtige Hinweise für die Sicherheit und Robustheit von LVLMs und betonen die Notwendigkeit, kritische neuronale Strukturen zu schützen und zu überwachen.