KI schwächet bei widersprüchlichen Demonstrationen – 10 % Boost durch Ablation

In der jüngsten Forschung zum In‑Context‑Learning zeigen große Sprachmodelle, dass selbst ein einziges fehlerhaftes Beispiel in einer Demonstration die Leistung drastisch senken kann. Durch die Nutzung von wenigen Beispielen – sogenannten „Few‑Shot‑Demonstrationen“ – sollen Modelle neue Aufgaben erlernen, doch die enthaltenen Rauschelemente und widersprüchlichen Hinweise stellen diese Fähigkeit stark in Frage.

Um die zugrunde liegenden Mechanismen zu verstehen, wurden Aufgaben entwickelt, bei denen die Modelle aus den Demonstrationen Regeln ableiten müssen. Die Ergebnisse zeigen, dass ein einzelnes, mit Fehlern versehentliches Beispiel die Genauigkeit erheblich beeinträchtigt. Die Modelle speichern sowohl korrekte als auch falsche Regeln in den Zwischenschichten, entwickeln jedoch erst in den späteren Schichten ein klares Vorhersage‑Vertrauen.

Durch lineare Probes und Logit‑Lens‑Analysen wurde eine zweiphasige Struktur des internen Lernprozesses aufgedeckt. In den frühen bis mittleren Schichten dominieren sogenannte „Schwachstellenköpfe“, die stark auf die Position der Eingaben achten und empfindlich auf fehlerhafte Beispiele reagieren. In den späteren Schichten wirken die „Anfälligen Köpfe“, die die Unterstützung für korrekte Vorhersagen stark reduzieren, wenn sie mit fehlerhaften Beweisen konfrontiert werden.

Eine gezielte Ablation – das gezielte Maskieren einer kleinen Anzahl dieser identifizierten Köpfe – führt zu einer Leistungsverbesserung von über 10 %. Diese Erkenntnisse liefern einen klaren Weg, um die Robustheit von Sprachmodellen gegenüber widersprüchlichen Demonstrationen signifikant zu erhöhen.