CAP Hybrid: Bessere Erklärbarkeit und Robustheit für kleine Sprachmodelle

In der heutigen KI-Landschaft sind kleine Sprachmodelle (SLMs) besonders beliebt, weil sie geringe Latenzzeiten und leichte Bereitstellung ermöglichen. Gleichzeitig wächst die Nachfrage nach erklärbaren und robusten Modellen. Erklärungsgesteuertes Lernen, das Attribution-basierte Supervision nutzt, hat sich als vielversprechender Ansatz erwiesen – jedoch fehlt bislang ein zuverlässiger Ansatz zur Erzeugung von Attribution-Priors.

Eine Analyse gängiger Attribution‑Methoden zeigt, dass diese zwar relevante Tokens für eine Klasse hervorheben, sich aber häufig auf gemeinsame Schlüsselwörter konzentrieren, die semantisch ähnliche Klassen teilen. Diese Fokussierung liefert nicht genügend diskriminierende Hinweise, um die Klassen voneinander klar zu unterscheiden, und limitiert damit die Leistungsverbesserung.

Um dieses Problem zu lösen, wurde der Class‑Aware Attribution Prior (CAP) entwickelt. CAP extrahiert Attribution‑Prioritäten, die feinere Klassenunterschiede betonen und dadurch diskriminativere Attributionen erzeugen. Der weiterentwickelte Ansatz CAP Hybrid kombiniert diese CAP‑Prioritäten mit bestehenden Attributionstechniken, um ein ausgewogeneres und umfassenderes Supervisorsignal zu schaffen.

Durch die Ausrichtung der Selbstattribution des Modells auf diese erweiterten Priors lernt das System vielfältige, entscheidungsrelevante Merkmale. Umfangreiche Experimente – sowohl bei vollem Datensatz, Few‑Shot‑Lernen als auch in adversarialen Szenarien – zeigen signifikante Verbesserungen in Erklärbarkeit und Robustheit gegenüber herkömmlichen Methoden.