LLMs erkennen vertraute Dateien mit erstaunlicher Sicherheit

Die enorme Sprachkompetenz großer Sprachmodelle (LLMs) beruht auf umfangreichem Training mit riesigen Datensätzen, die häufig urheberrechtlich geschützte Inhalte enthalten. Dies wirft ernsthafte Fragen zur unautorisierten Nutzung auf.

Traditionelle Ansätze wie Membership Inference Attacks (MIAs) stoßen an ihre Grenzen, weil LLMs oft übermäßig zuversichtlich sind, weil ihnen echte Trainingsdaten fehlen und weil empirisch festgelegte Schwellenwerte nötig sind. Das neue Framework COPYCHECK nutzt genau diese Unsicherheit, um festzustellen, ob urheberrechtlich geschützter Text im Trainingsmaterial verwendet wurde.

COPYCHECK wandelt die Überkonfidenz von LLMs in einen Vorteil um, indem es Unsicherheitsmuster erfasst, die zuverlässig zwischen „gesehen“ (im Training enthalten) und „ungesehen“ (nicht im Training enthalten) unterscheiden. Dazu segmentiert es Dateien in kleinere Ausschnitte und führt eine unsupervised Clustering‑Analyse, die auf Unsicherheitssignalen basiert, durch – so entfällt die Notwendigkeit von manuell festgelegten Schwellenwerten.

In Experimenten erreichte COPYCHECK eine durchschnittliche Balanced Accuracy von 90,1 % bei LLaMA 7b und 91,6 % bei LLaMA2 7b, was eine Verbesserung von über 90 % gegenüber dem aktuellen Stand der Technik bedeutet. Die Methode zeigte zudem eine starke Generalisierbarkeit, indem sie auch bei GPT‑J 6B hohe Leistungen erzielte. Damit stellt COPYCHECK die erste Anwendung von Unsicherheitsmessungen zur Erkennung von urheberrechtlich geschütztem Material in LLM‑Trainingsdaten dar.