LLM-Pruning bleibt wahrheitsgetreu: Neue Methode schützt Fakten

Neuer Forschungsbericht aus dem arXiv-Repository zeigt, dass das gezielte Entfernen von Gewichten in großen Sprachmodellen (LLMs) – ein beliebtes Verfahren, um Modelle in ressourcenarmen Umgebungen einzusetzen – unerwartete Folgen für die Wahrheitsprüfung von generierten Texten hat. Während die Modellleistung bei Standardaufgaben erhalten bleibt, werden wichtige interne Aktivierungsmerkmale, die für die Erkennung von Lügen genutzt werden, stark beeinträchtigt.

Die Studie nutzt kleine logistische Regressionsklassen, die auf den Aktivierungsprofilen der LLMs trainiert sind, um die Wahrhaftigkeit von Aussagen zu bewerten. Dabei wurde erstmals deutlich, dass das herkömmliche Pruning die für diese Klassifikatoren entscheidenden Features zerstört. Das stellt die Frage, wie man Modelle schlanker machen kann, ohne die Fähigkeit zur Faktenprüfung zu verlieren.

Ein Versuch, die Pruning‑Sparsität schichtweise an der Wichtigkeit der Gewichte auszurichten, zeigte, dass dabei kritische Parameter entfernt werden. Trotz der Abhängigkeit der Lüge‑Erkennung von der wichtigsten Schicht verbesserte sich die Leistung nicht.

Um dieses Problem zu lösen, wurde die Methode „Truthful Pruning aligned by Layer‑wise Outliers“ (TPLO) entwickelt. TPLO legt den Fokus auf Schichten, die viele Aktivierungs‑Ausreißer aufweisen und gleichzeitig starke diskriminierende Merkmale besitzen. Durch diese gezielte Gewichtung bleiben die ursprünglichen Leistungswerte erhalten, während die für die Wahrheitsprüfung relevanten inneren Zustände erhalten bleiben.

Zusätzlich wurde ein neues Prompting‑Regelwerk eingeführt, das den TruthfulQA‑Benchmark erweitert und so die Kalibrierung von Pruning‑Strategien verbessert. Die experimentellen Ergebnisse sind beeindruckend: Bei einer 50‑Prozent‑Sparsität erreicht TPLO eine Halluzinations‑Erkennungsrate von 88 % und steigert gleichzeitig die Leistung auf TruthfulQA.