KI-Modelle für Cybersicherheit: Parameter‑Effizienz trifft große Sprachmodelle

In der Cybersicherheitsforschung eröffnet der Einsatz umfangreicher Datensätze die Möglichkeit, KI‑Modelle realitätsnah zu trainieren. Gleichzeitig stellen Datenverschiebungen und das Fehlen von gelabelten Beispielen häufige Aktualisierungen und das Risiko von Overfitting dar.

Um diesen Problemen entgegenzuwirken, nutzt die aktuelle Studie parameter‑effiziente Feinabstimmung vortrainierter Sprachmodelle. Dabei werden kompakte Module kombiniert mit unterschiedlichen Layer‑Freezing‑Strategien, sodass nur wenige Parameter angepasst werden müssen.

Ein zentrales Innovationselement ist die Integration großer Sprachmodelle in zwei Rollen: Erstens als automatisierte Labeling‑Werkzeuge, die unlabelte Daten beschriften; zweitens als Rückfallmechanismus, der bei niedriger Vorhersage‑Vertrauensstufe die Entscheidung übernimmt.

Durch umfangreiche Experimente auf verschiedenen Cybersicherheits‑Downstream‑Aufgaben konnte gezeigt werden, dass die Kombination aus parameter‑effizienten Modellen und großen Sprachmodellen die Zuverlässigkeit und Robustheit deutlich steigert. Damit werden die Modelle besser für den Einsatz in realen Sicherheitsumgebungen geeignet.