LLMs meistern diskrete Optimierungsaufgaben – neue Studie liefert Benchmark

Eine aktuelle Veröffentlichung auf arXiv untersucht, wie gut moderne Sprachmodelle wie Llama‑3 und ChatGPT diskrete Optimierungsprobleme lösen können. Dabei wurden die Modelle mit einer breiten Palette natürlicher Sprachdaten getestet, die von einfachen bis zu sehr komplexen Aufgaben reichen.

Das zugrunde liegende Datenset ist besonders umfangreich: Es umfasst verschiedene Problemtypen, große Parameterbereiche und sogar erweiterte sowie augmentierte Versionen. Die Original- und augmentierten Datensätze dienen der Bewertung, während die erweiterte Variante für das Feintuning neuer Modelle gedacht ist.

In den Experimenten wurden starke und schwächere Modelle sowie Verfahren mit und ohne Chain‑of‑Thought (CoT) verglichen. Die Ergebnisse zeigen, dass leistungsstärkere Modelle generell besser abschneiden. Überraschenderweise war die CoT‑Methode nicht immer wirksam; bei manchen, leicht verständlichen Aufgaben führte sie sogar zu höherer Varianz und Instabilität.

Die Studie liefert somit einen wertvollen Benchmark für zukünftige Forschungen und gibt praktische Hinweise für Entwickler, die automatische Lösungen für diskrete Optimierungsprobleme anstreben. Sie betont, dass die Wahl des Modells und der Datensatzstruktur entscheidend für den Erfolg ist.