WaterMod: Probabilitätsbalanciertes Token-Partitioning für LLM‑Watermarking

Moderne Sprachmodelle schreiben Nachrichten, Rechtsgutachten und Code mit einer menschlichen Fließfähigkeit. Gleichzeitig verlangt die EU‑KI‑Verordnung, dass jeder synthetische Text ein unsichtbares, maschinenlesbares Wasserzeichen trägt. Traditionelle Logit‑basierte Wasserzeichen wählen bei jedem Decodierungsschritt zufällig ein „grünes“ Vokabular aus und erhöhen dessen Logits. Diese zufällige Aufteilung kann jedoch den höchstwahrscheinlichen Token ausschließen und die Textqualität mindern.

WaterMod löst dieses Problem mit einer probabilitätsbewussten, modularen Regel. Zunächst wird das Vokabular nach absteigender Modellwahrscheinlichkeit sortiert. Die resultierenden Ränge werden dann nach dem Restwert modulo k partitioniert, sodass benachbarte, semantisch ähnliche Tokens auf verschiedene Klassen verteilt werden. Anschließend wird einer ausgewählten Klasse ein kleiner Bias zugewiesen.

Im Zero‑Bit‑Modus (k = 2) wählt ein entropie‑adaptiver Schalter entweder die geraden oder ungeraden Parität als grüne Liste. Da die beiden höchsten Ränge in unterschiedliche Paritäten fallen, wird ein erkennbares Signal eingebettet, während mindestens ein hochwahrscheinlicher Token für die Stichprobe zur Verfügung bleibt.

Im Multi‑Bit‑Modus (k > 2) bestimmt die aktuelle Payload‑Ziffer d die Farbklasse, deren Ränge den Modulo‑k‑Wert d erfüllen. Durch Biasing dieser Klasse wird pro Decodierungsschritt genau ein Basis‑k‑Ziffer eingebettet, was eine feingranulare Provenienzverfolgung ermöglicht. Die gleiche modulare Arithmetik unterstützt sowohl binäre Zuordnung als auch reichhaltige Payloads.

Experimentelle Ergebnisse zeigen, dass WaterMod die Textflüssigkeit verbessert und gleichzeitig die Erkennbarkeit des Wasserzeichens gewährleistet – ein bedeutender Fortschritt für die sichere Nutzung von großen Sprachmodellen.