VISA: Präzise Werteanpassung von LLMs ohne Qualitätsverlust

Ein neues Verfahren namens VISA (Value Injection via Shielded Adaptation) verspricht, Large Language Models (LLMs) genauer an menschliche Werte anzupassen, ohne dabei die Qualität der Antworten zu beeinträchtigen. Das System nutzt einen geschlossenen Regelkreis, der aus einem hochpräzisen Wertendetektor, einem semantisch-zu-Wert-Übersetzer und einem Kernwertumschreiber besteht.

Der Kernwertumschreiber wird mit Group Relative Policy Optimization (GRPO) trainiert und verwendet eine zusammengesetzte Belohnungsfunktion, die gleichzeitig die feinkörnige Wertepräzision und die Wahrung semantischer Integrität optimiert. Durch diese Balance reduziert VISA den sogenannten Alignment Tax, der bei herkömmlichen Feinabstimmungen entsteht, und verhindert gleichzeitig Halluzinationen sowie Informationsverluste.

Experimentelle Ergebnisse zeigen, dass VISA die Werteausdrücke eines Modells präzise steuern kann, während die faktische Konsistenz und die allgemeinen Fähigkeiten erhalten bleiben. Im Vergleich zu Standard-Fine-Tuning-Methoden und prompting-basierten Ansätzen, einschließlich GPT‑4o, erzielt VISA deutlich bessere Leistungen.