RADAR: Mechanistische Wege zur Erkennung von Datenkontamination bei LLM-Tests
Die Bewertung von großen Sprachmodellen (LLMs) wird zunehmend durch Datenkontamination erschwert, wenn Modelle ihre Leistung durch Auswendiglernen von Trainingsdaten statt durch echtes Denken erzielen. Ein neues Verfahr…
- Die Bewertung von großen Sprachmodellen (LLMs) wird zunehmend durch Datenkontamination erschwert, wenn Modelle ihre Leistung durch Auswendiglernen von Trainingsdaten sta…
- Reasoning Detection through Activation Representation) nutzt mechanistische Interpretierbarkeit, um zwischen Erinnerungs- und Denkantworten zu unterscheiden.
- RADAR extrahiert 37 Merkmale, die sowohl oberflächliche Vertrauenskurven als auch tiefgreifende mechanistische Eigenschaften wie Aufmerksamkeitsspezialisierung, Schaltk…
Die Bewertung von großen Sprachmodellen (LLMs) wird zunehmend durch Datenkontamination erschwert, wenn Modelle ihre Leistung durch Auswendiglernen von Trainingsdaten statt durch echtes Denken erzielen. Ein neues Verfahren namens RADAR (Recall vs. Reasoning Detection through Activation Representation) nutzt mechanistische Interpretierbarkeit, um zwischen Erinnerungs- und Denkantworten zu unterscheiden.
RADAR extrahiert 37 Merkmale, die sowohl oberflächliche Vertrauenskurven als auch tiefgreifende mechanistische Eigenschaften wie Aufmerksamkeitsspezialisierung, Schaltkreisdynamik und Aktivierungsflussmuster abbilden. Durch ein Ensemble von Klassifikatoren, das auf diesen Merkmalen trainiert wurde, erreicht das System eine Genauigkeit von 93 % auf einem vielfältigen Testdatensatz. Bei klaren Fällen erzielt es perfekte Ergebnisse, während es bei schwierigen, mehrdeutigen Beispielen eine Genauigkeit von 76,7 % erreicht.
Diese Ergebnisse zeigen, dass mechanistische Interpretierbarkeit ein vielversprechendes Werkzeug zur Verbesserung der Zuverlässigkeit von LLM-Bewertungen darstellt und über herkömmliche, oberflächliche Metriken hinausgeht.
Welche Linse du auf diese Meldung legen solltest
LLMs sind Sprachmodelle, die Text verstehen, erzeugen und in Produkte eingebettet werden.
Achte zuerst auf Modellqualitaet, Kosten pro Nutzung und darauf, ob echte Produktverbesserungen oder nur Benchmarks kommuniziert werden.
Kontext ohne Glossar-Suche
Wenn du nach dieser Meldung weiterlernen willst
Von dieser Meldung direkt in Hub, Analyse und Nachbarthemen
Achte zuerst auf Modellqualitaet, Kosten pro Nutzung und darauf, ob echte Produktverbesserungen oder nur Benchmarks kommuniziert werden.
Dieses Thema taucht in denselben KI-Entwicklungen regelmaessig mit auf und hilft beim groesseren Bild.
Dieses Thema taucht in denselben KI-Entwicklungen regelmaessig mit auf und hilft beim groesseren Bild.
Dieses Thema taucht in denselben KI-Entwicklungen regelmaessig mit auf und hilft beim groesseren Bild.