LLM-Fine‑Tuning: Phishing‑Erkennung zeigt Architekturabhängige Generalisierung

In einer neuen Studie wurden die neuesten Sprachmodelle – Llama 3.1 8B, Gemma 2 9B und Mistral – auf die anspruchsvolle Aufgabe der Phishing‑Erkennung feinabgestimmt. Ziel war es, die Gründe zu verstehen, warum feinabgestimmte Modelle oft an ihrer Generalisierungsfähigkeit verlieren.

Die Forscher nutzten ein mehrschichtiges Diagnostik‑Framework, das SHAP‑Analysen und mechanistische Interpretierbarkeit kombiniert. Durch das Training auf einem großen, stilistisch vielfältigen „Generalist“-Datensatz konnten die Modelle ihre Leistung auf dem Phishing‑Test stark verbessern.

Die wichtigsten Erkenntnisse sind: Erstens hängt die Generalisierung stark von der Kombination aus Architektur und Datenvielfalt ab – Gemma 2 9B erreichte über 91 % F1‑Score, wenn es mit einem diversifizierten Datensatz trainiert wurde. Zweitens zeigte Llama 3.1 8B einen spezifischen Fehler: Es performt gut in engen Domänen, verliert jedoch bei heterogenen Daten an Genauigkeit. Drittens erwies sich Mistral als besonders robust und konsistent über verschiedene Trainingsparadigmen hinweg.

Diese Ergebnisse liefern ein konkretes Verfahren, um die Ursachen von Generalisierungsfehlern zu diagnostizieren. Sie unterstreichen, dass verlässliche KI nur durch gründliche Validierung der Wechselwirkungen zwischen Architektur, Daten und Trainingsstrategie erreicht werden kann.