Neue Methode reduziert Überabweisungen bei Sprachmodellen – DCR steigert Sicherheit

Sprachmodelle, die für Sicherheit abgestimmt sind, neigen häufig dazu, zu viele Anfragen abzulehnen, selbst wenn diese harmlos sind. Dieses Phänomen, bekannt als Überabweisung, schränkt die Nützlichkeit der Modelle in sensiblen oder nuancierten Kontexten ein. Frühere Ansätze wie Datenaugmentation oder Aktivierungssteuerung konnten zwar die Überabweisung verringern, führten jedoch oft zu einer schlechteren Erkennung wirklich schädlicher Inhalte.

Die neue Technik, Discernment via Contrastive Refinement (DCR), fügt einen zusätzlichen Abstimmungsabschnitt vor dem eigentlichen Modell ein. Durch kontrastives Lernen lernt das System, echte toxische Eingaben von scheinbar toxischen zu unterscheiden. Sowohl theoretische Analysen als auch umfangreiche Tests auf verschiedenen Benchmarks zeigen, dass DCR die Fähigkeit des Modells verbessert, zwischen wirklich gefährlichen und harmlosen Anfragen zu differenzieren.

Die Ergebnisse sind vielversprechend: DCR reduziert die Überabweisung signifikant, ohne die Sicherheitsvorteile zu verlieren, und beeinträchtigt die allgemeinen Leistungsfähigkeiten des Modells nur minimal. Damit bietet die Methode einen robusteren und prinzipielleren Ansatz für die Sicherheitsabstimmung von großen Sprachmodellen.