Reinforcement Learning stärkt LLM-Funktionsaufrufe: Adversarial Augmentation deckt Schwächen auf

Die Fähigkeit von großen Sprachmodellen (LLMs), externe Tools und APIs über Funktionsaufrufe zu nutzen, hat sich zu einem entscheidenden Erfolgsfaktor entwickelt. Traditionelle Ansätze zur Verbesserung dieser Funktionalität beruhen meist auf manuell annotierten Daten oder automatisch generierten Beispielen, die anschließend zum Feinabstimmen der Modelle verwendet werden. Diese Verfahren sind jedoch oft ungerichtet und beschränkt durch feste Muster, was die Generalisierbarkeit und Robustheit der Modelle einschränkt.

In der neuen Studie wird ein innovativer Ansatz vorgestellt, bei dem Reinforcement Learning (RL) eingesetzt wird, um gezielt Schwachstellen in LLM-Funktionsaufrufen zu identifizieren. Ein sogenanntes Query-Modell wird mit RL trainiert, um adversariale Abfragen zu erzeugen, die die Funktionsaufrufmodelle (FC-Modelle) gezielt herausfordern. Durch die iterative, abwechselnde Schulung entsteht ein Nullsummenspiel, bei dem beide Modelle sich kontinuierlich verbessern.

Der Ansatz bietet einen systematischen Weg, um die Grenzen von LLMs im Umgang mit externen Tools aufzudecken und zu beheben. Durch die gezielte Erzeugung von schwierigen Testfällen können Entwickler die Robustheit ihrer Modelle erhöhen und gleichzeitig ein tieferes Verständnis für deren Schwachstellen gewinnen.