Aggregation in KI‑Systemen: Mehr Möglichkeiten, aber Grenzen

In einer neuen Studie von arXiv wird untersucht, wie die Kombination mehrerer identischer KI‑Modelle die Leistungsfähigkeit von sogenannten Compound‑AI‑Systemen beeinflusst. Durch das Aggregieren der Antworten mehrerer Instanzen eines Modells entsteht die Frage, ob dadurch ein breiteres Spektrum an Ausgaben erreichbar ist als bei der Nutzung eines einzelnen Modells.

Die Autoren nutzen ein stilisiertes Principal‑Agenten‑Modell, um zu zeigen, wie ein Systemdesigner die Ausgabe jedes Agenten über die Belohnungsfunktion steuern kann, während gleichzeitig Einschränkungen durch Prompt‑Engineering und die Fähigkeiten des Modells bestehen bleiben. Dabei identifizieren sie drei zentrale Mechanismen, die die erweiterbare Ausgabemenge bestimmen: die Erweiterung der Machbarkeit (Feasibility Expansion), die Erweiterung des Unterstützungsbereichs (Support Expansion) und die Verengung des Bindungssets (Binding Set Contraction).

Die Arbeit beweist, dass jede Aggregationsstrategie mindestens einen dieser Mechanismen nutzen muss, um die erweiterbare Ausgabemenge zu erhöhen. Stärkere Varianten dieser Mechanismen liefern notwendige und hinreichende Bedingungen, die die gesamte Erweiterbarkeit präzise beschreiben. In einem praktischen Beispiel demonstrieren die Forscher die Theorie anhand von großen Sprachmodellen (LLMs), die in einer vereinfachten Referenzgenerierungsaufgabe eingesetzt werden.

Die Ergebnisse markieren einen wichtigen Schritt zur Klärung, wann Compound‑AI‑Systeme die Grenzen einzelner Modelle und der Prompt‑Engineering‑Techniken überwinden können. Sie liefern sowohl theoretische Grundlagen als auch praktische Einblicke für Entwickler, die KI‑Modelle in komplexen, mehrstufigen Anwendungen einsetzen wollen.