KI‑Sicherheit: Vortrag über Prompt‑Injection und die tödliche Trifecta

Am Mittwoch hielt der Sprecher einen Vortrag beim Bay Area AI Security Meetup, in dem er die Gefahren von Prompt‑Injection, die sogenannte tödliche Trifecta und die Schwierigkeiten bei der Absicherung von Systemen, die auf dem Multi‑Component‑Platform‑Framework (MCP) basieren, erläuterte. Obwohl die Präsentation nicht aufgezeichnet wurde, hat er eine annotierte Version mit allen Folien und ausführlichen Notizen erstellt, die nun allen Interessierten zur Verfügung steht.

Ein humorvoller Zwischenfall sorgte für Aufsehen: Kurz bevor er die Bühne betrat, fragte ein Zuhörer, ob es in seinem Vortrag Pelikane geben würde. Da er keine Pelikane im Programm hatte, griff er zu einem Foto, das er vor einigen Tagen in Half Moon Bay aufgenommen hatte, und setzte es als Hintergrund für die Titelfolie ein.

Prompt‑Injection wird als „SQL‑Injection mit Prompts“ bezeichnet, weil sie die gleiche Wurzel wie klassische Sicherheitslücken hat: die Verkettung von vertrauenswürdigen Anweisungen mit unzuverlässigem Benutzereingaben. Diese Praxis führt zu SQL‑Injection, XSS, Command‑Injection und vielen weiteren Angriffen. Wer in der IT‑Sicherheit arbeitet, kennt die Gefahren dieser Technik.

Der Begriff Prompt‑Injection wurde vom Sprecher im September 2022 geprägt. Er betont, dass er die Schwachstelle nicht entdeckt hat, sondern lediglich einen passenden Namen dafür gefunden hat. Sein Hobby besteht darin, neue Fachbegriffe zu erfinden oder zu verbreiten, um die Diskussion über aufkommende Bedrohungen zu fördern.

Zur Veranschaulichung zeigte er ein Beispiel: Bei der Entwicklung einer Übersetzungs‑App, die auf einem großen Sprachmodell (LLM) basiert, kann ein Angreifer durch gezielte Eingabeaufforderungen die Ausgabe manipulieren. Solche Szenarien verdeutlichen, warum Prompt‑Injection ein ernstzunehmendes Sicherheitsrisiko darstellt und warum die Absicherung von LLM‑basierten Systemen besondere Aufmerksamkeit erfordert.