SemanticALLI: Zwischenschritte in Agenten-Intelligenz effizient cachen

Agentenbasierte KI‑Pipelines leiden unter einer versteckten Ineffizienz: Sie rekonstruieren häufig dieselben Zwischenschritte, etwa die Normalisierung von Metriken oder das Aufbauen von Diagrammen, obwohl die Benutzereingabe völlig neu ist. Klassische Caching‑Ansätze greifen hier zu kurz, weil sie die gesamte Inferenz als undurchsichtiges Ganzes behandeln.

SemanticALLI löst dieses Problem, indem es die Pipeline in zwei klar abgegrenzte Phasen unterteilt – die Analytic Intent Resolution (AIR) und die Visualization Synthesis (VS). Durch die Trennung werden strukturierte Zwischenergebnisse (IRs) zu eigenständigen, cachefähigen Artefakten. Diese Architektur ist in Alli, der Marketing‑Intelligence-Plattform von PMG, integriert.

Die Ergebnisse sprechen für sich: Während ein monolithisches Caching nur 38,7 % Treffer erzielt, weil sprachliche Variationen die Wiederverwendbarkeit einschränken, erreicht SemanticALLI mit dem zusätzlichen VS‑Schritt einen Trefferwert von 83,10 %. Das spart 4 023 LLM‑Aufrufe und reduziert die mittlere Latenz auf lediglich 2,66 ms. Gleichzeitig sinkt der Token‑Verbrauch deutlich.

SemanticALLI zeigt, dass selbst bei seltenen Wiederholungen der Nutzer die Pipeline selbst häufig dieselben strukturierten Zwischenschritte durchläuft. Durch gezieltes Cachen an diesen stabilen Punkten lässt sich die Effizienz von Agenten‑Intelligenz erheblich steigern.