ArcMark: Mehrbit-Wasserzeichen für Sprachmodelle mittels Optimal Transport

Wasserzeichen sind ein zentrales Mittel, um die verantwortungsvolle Nutzung von Sprachmodellen zu fördern. Während bisherige Wasserzeichen meist ein einzelnes Bit pro Token einbetten, haben neuere Ansätze mehrere Bits einfügen können, ohne die durchschnittlichen Vorhersagen der nächsten Token zu verändern. Dennoch blieb die maximale Bitrate – die sogenannte Kapazität – für Mehrbit-Wasserzeichen lange unbekannt.

In der aktuellen Arbeit wird erstmals die Kapazität für Mehrbit-Wasserzeichen mathematisch bestimmt. Auf dieser Grundlage wurde ArcMark entwickelt, ein neues Wasserzeichen, das auf kodetheoretischen Prinzipien basiert und unter bestimmten Annahmen die theoretisch maximale Bitrate erreicht. ArcMark liefert nicht nur mehr Bits pro Token, sondern überzeugt auch durch eine höhere Erkennungsgenauigkeit im Vergleich zu bestehenden Methoden.

Die Ergebnisse zeigen deutlich, dass Wasserzeichen für Sprachmodelle ein klassisches Kanalcodierungsproblem darstellen. Durch die Anwendung von Informationstheorie und optimalem Transport eröffnet ArcMark einen neuen, prinzipiellen Ansatz für die Gestaltung von Wasserzeichen, der die Grundlage für zukünftige Entwicklungen in diesem Bereich bildet.