LLMs meistern Tool-Ausgabe: Neue Methode verhindert Kontextfenster-Overflow

Große Sprachmodelle (LLMs) können mittlerweile komplexe externe Werkzeuge nutzen und so auf spezialisierte Fachkenntnisse zugreifen, die über ihr Trainingsmaterial hinausgehen. Das ist besonders wichtig in dynamischen, wissensintensiven Bereichen wie Chemie und Materialwissenschaften. Doch wenn die von diesen Tools gelieferten Daten zu umfangreich sind, überlaufen sie das Kontextfenster des Modells und blockieren die Aufgabenerfüllung.

Traditionelle Ansätze wie Kürzungen oder Zusammenfassungen bewahren die Vollständigkeit der Ausgaben nicht und sind daher für Workflows, die sämtliche Informationen benötigen, ungeeignet. Die neue Methode, die in der Arbeit vorgestellt wird, löst dieses Problem, indem sie die Interaktion des Modells von rohen Daten auf Speicher‑Zeiger verlagert. Dadurch bleibt die komplette Tool‑Antwort erhalten, die Token‑Nutzung sinkt und die Ausführungszeit verkürzt sich.

Die Technik wurde in einer realen Materialwissenschaftsanwendung getestet, die mit herkömmlichen Verfahren nicht durchführbar war. In einem Vergleichs‑Experiment zeigte sich, dass die neue Herangehensweise rund siebenmal weniger Tokens verbraucht als der klassische Ansatz, während beide Methoden erfolgreich die Aufgabe erledigten. Damit eröffnet die Lösung neue Möglichkeiten für agentenbasierte Arbeitsabläufe, die auf umfangreiche Tool‑Antworten angewiesen sind.