LLM-Pruning bleibt wahrheitsgetreu: Neue Methode schützt Fakten
Neuer Forschungsbericht aus dem arXiv-Repository zeigt, dass das gezielte Entfernen von Gewichten in großen Sprachmodellen (LLMs) – ein beliebtes Verfahren, um Modelle in ressourcenarmen Umgebungen einzusetzen – unerwartete Folgen für die Wahrheitsprüfung von generierten Texten hat. Während die Modellleistung bei Standardaufgaben erhalten bleibt, werden wichtige interne Aktivierungsmerkmale, die für die Erkennung von Lügen genutzt werden, stark beeinträchtigt.
