Agentenbasiertes Framework zur Validierung mathematischer Optimierungsmodelle

Mit dem Aufkommen von Large Language Models (LLMs) wird es immer populärer, Optimierungsmodelle direkt aus natürlichen Sprachbeschreibungen zu generieren. Doch wie kann man sicherstellen, dass die automatisch erstellten Modelle korrekt sind und die in der Beschreibung festgelegten Anforderungen erfüllen?

In der vorliegenden Arbeit wird ein neuartiges, agentenbasiertes Verfahren vorgestellt, das sich an bewährten Methoden aus dem Softwaretesting orientiert. Drei spezialisierte Agenten arbeiten zusammen: Zunächst erstellt ein Agent eine problembezogene Test-API, anschließend generiert ein zweiter Agent Testfälle, die die Modellanforderungen prüfen, und schließlich erzeugt ein dritter Agent gezielte Mutationen des Modells. Diese Mutationen dienen dazu, die Fehlererkennungsfähigkeit der Testreihe zu bewerten.

Durch umfangreiche Experimente konnte gezeigt werden, dass das Agentenensemble eine hohe Validierungsqualität liefert. Der Erfolg wird dabei anhand der bekannten Messgröße „Mutation Coverage“ gemessen, die die Effektivität der Tests bei der Entdeckung von Modellfehlern widerspiegelt. Das vorgestellte Framework bietet damit einen robusten Ansatz, um die Zuverlässigkeit von LLM-generierten Optimierungsmodellen systematisch zu überprüfen.