Low‑Rank‑LLMs: Vertrauen, Datenschutz und Fairness neu bewertet

Die riesigen Sprachmodelle, die heute viele Anwendungen antreiben, sind wegen ihrer Größe oft nicht in ressourcenbeschränkten Umgebungen einsetzbar. Ein vielversprechender Ansatz zur Reduktion von Speicherbedarf und Rechenaufwand ist die Low‑Rank‑Faktorisierung, die die Modelle kompakt hält, ohne die Genauigkeit zu verlieren.

In einer ersten umfassenden Untersuchung wurde die Vertrauenswürdigkeit dieser komprimierten Modelle unter vier Gesichtspunkten analysiert: Datenschutz, adversarielle Robustheit, Fairness und ethische Ausrichtung. Dabei wurden verschiedene LLM‑Varianten unterschiedlicher Größe mit unterschiedlichen Low‑Rank‑Algorithmen komprimiert und systematisch bewertet.

Die Ergebnisse zeigen, dass die Kompression die Privatsphäre der Trainingsdaten erhält oder sogar verbessert, jedoch die Schutzwirkung von personenbezogenen Informationen (PII) während der Konversation schwächt. Die adversarielle Robustheit bleibt weitgehend erhalten und kann sogar gesteigert werden, selbst bei tiefgreifender Kompression. In Zero‑Shot‑Szenarien verschlechtert sich die ethische Entscheidungsfindung, doch mit wenigen Beispielanfragen (Few‑Shot) kann sie teilweise wiederhergestellt werden. Gleichzeitig nimmt die Fairness unter Kompression ab.

Darüber hinaus wurden die Auswirkungen von Modellgröße und Feintuning auf die Vertrauenswürdigkeit untersucht, da beide Faktoren bei Low‑Rank‑Methoden entscheidend sind. Abschließend liefert die Arbeit eine gradientenbasierte Attribution, die aufzeigt, welche Modellschichten am stärksten zur adversarialen Robustheit beitragen, und damit Richtlinien für vertrauenswürdige Kompressionsstrategien liefert.