KI News: Kurz und klar.

Wissenschaftler haben einen neuen Ansatz namens RAPTOR (Ridge-Adaptive Logistic Probe) vorgestellt, der die Analyse von Konzepten in großen Sprachmodellen (LLMs) revolutioniert. Durch die Kombination einer L2-Regularisierung mit einer datengetriebenen Ridge-Stärke liefert RAPTOR präzise Konzeptvektoren, die sowohl genau als auch stabil gegenüber Ablation sind.

In der Forschung zur Aktivierungssteuerung großer Sprachmodelle (LLMs) stoßen aktuelle Methoden häufig auf unerwünschte Nebeneffekte. Um diese Probleme zu lösen, hat ein neues Verfahren namens RepIt entwickelt, das reine Konzeptvektoren isoliert und so gezielte Eingriffe ermöglicht. RepIt arbeitet mit minimalem Datenaufwand und ist auf fünf führende LLMs anwendbar.