LLM-Leistung bei Mehrfachinstanzverarbeitung: Instanzanzahl vs. Kontextlänge

Large Language Models (LLMs) werden häufig eingesetzt, um mehrere Dokumente gleichzeitig zu analysieren – etwa die Stimmung einer großen Menge an Filmkritiken zu bestimmen. Dabei muss das Modell jede Rezension einzeln bewerten, bevor es eine zusammengefasste Antwort liefert.

Obwohl LLMs bei einzelnen Aufgaben oft hervorragende Ergebnisse erzielen, gibt es kaum Studien, die untersuchen, wie sie mit Eingaben aus vielen Instanzen umgehen. Das neue Papier füllt diese Lücke, indem es die Fähigkeit von LLMs zur Mehrfachinstanzverarbeitung (MIP) systematisch testet.

Die Experimente zeigen ein konsistentes Muster: Für kleine Mengen von etwa 20 bis 100 Instanzen fällt die Leistung leicht ab, doch sobald die Anzahl weiter steigt, kommt es zu einem drastischen Zusammenbruch. Die Analyse legt nahe, dass die Länge des Kontextes zwar mit der Abnahme korreliert, jedoch die Instanzanzahl den entscheidenden Einfluss hat.

Das Ergebnis liefert klare Handlungsanweisungen: Bei der Optimierung von LLMs für MIP sollten sowohl die Kontextlänge als auch – besonders die Anzahl der zu verarbeitenden Instanzen – berücksichtigt werden, um die Leistungsfähigkeit zu erhalten.