Q-realign: Quantisierung nutzt Sicherheit – effiziente LLM-Deployment-Lösung

Große Sprachmodelle (LLMs) werden in der Regel während des Pretrainings auf Sicherheit ausgerichtet, doch das anschließende, aufgabenbezogene Feinabstimmen kann diese Ausrichtung schwächen und neue Risiken einführen. Aktuelle Schutzmaßnahmen verankern die Sicherheitsreparatur entweder direkt im Feinabstimmungsprozess oder nutzen nachträgliche Korrekturen, die eng mit dem Training verbunden sind und hohe Rechenkosten sowie komplexe Abläufe mit sich bringen.

Mit Q-realign wird ein post-hoc-Verteidigungsansatz vorgestellt, der die Quantisierung nach dem Training nutzt und dabei die Repräsentationsstruktur des Modells berücksichtigt. Durch die Umdeutung der Quantisierung als zweckorientiertes Verfahren für Kompression und Sicherheit wird die Sicherheitsausrichtung von der Feinabstimmung entkoppelt und lässt sich nahtlos in moderne Deployments-Workflows einbinden.

Experimentelle Ergebnisse über verschiedene Modelle und Datensätze hinweg zeigen, dass Q-realign die unerwünschten Verhaltensweisen signifikant reduziert, ohne die Aufgabenleistung zu beeinträchtigen. Gleichzeitig werden Speicherbedarf und GPU-Stunden deutlich gesenkt. Ein Beispiel: Die Sicherheitsausrichtung eines feinabgestimmten 7‑Billionen-Parameter-Modells kann auf einer einzelnen RTX 4090 in weniger als 40 Minuten wiederhergestellt werden.

Insgesamt bietet Q-realign eine praktikable, sofort einsatzbereite Lösung für die sichere Bereitstellung von LLMs, die sowohl Effizienz als auch Sicherheit in den Vordergrund stellt.