Robustheit probabilistischer Modelle gegenüber minderwertigen Daten

Eine neue Studie aus dem arXiv-Repository (ArXiv:2512.11912v1) untersucht systematisch, wie moderne probabilistische Modelle auf verrauschte oder stark beschädigte Daten reagieren. Die Ergebnisse zeigen, dass die Robustheit stark variiert – je nach Modelltyp und Art der Aufgabe.

Autoregressive Sprachmodelle, wie GPT‑2, bleiben erstaunlich stabil: Bei einer 50 %igen Token‑Korruption steigt die Test‑Negative Log‑Likelihood nur von 2,87 auf 3,59. Das bedeutet, dass die Modelle trotz erheblicher Datenfehler noch zuverlässig Vorhersagen treffen können. Im Gegensatz dazu leiden Diffusionsmodelle, die Bild‑zu‑Label‑Aufgaben lösen, dramatisch: Die Konsistenz zwischen Bild und zugehörigem Label sinkt um 56,81 % im Vergleich zur ungestörten Basislinie.

Klassifikatoren zeigen einen moderaten Einfluss, der mit zunehmender Datensatzgröße abnimmt. Die Autoren erklären die Unterschiede durch zwei zentrale Prinzipien: Erstens die „Reichhaltigkeit der Konditionierungsinformation“, die das Lernproblem einschränkt, und zweitens die „absolute Informationsmenge“ der Trainingsdaten, die es dem Signal ermöglicht, statistisches Rauschen zu überlagern. Diese Erkenntnisse wurden unter Einbeziehung von Informationstheorie, PAC‑Lernen und Gradienten‑Dynamik analysiert.

Die Studie unterstreicht, dass die Wahl des Modells und die Art der Konditionierung entscheidend für die Auswirkung von Datenqualität sind. Für Entwickler bedeutet das: Bei Anwendungen mit potenziell verrauschten Eingaben sollten robuste Modelle wie autoregressive Sprachmodelle bevorzugt werden, während Diffusionsmodelle besonders vorsichtig eingesetzt werden sollten.