LLM-Suchagent schneller: Spekulation reduziert Latenz um 65 %

LLM-basierte Suchagenten haben in den letzten Jahren beeindruckende Leistungen gezeigt, doch ihre Geschwindigkeit bleibt ein Engpass. Jeder Schritt erfordert zunächst eine ausführliche LLM‑Reasoning‑Phase, gefolgt von der Ausführung eines Tools – ein Prozess, der die Gesamtlatenz stark erhöht.

Die neue Arbeit nutzt das Prinzip der Spekulation, um diesen Flaschenhals zu überwinden. In den frühen Agentenschritten geht es häufig um das Sammeln einfacher Beweise, bei denen die korrekte Aktion bereits ohne vollständiges Durchdenken vorhergesagt werden kann. Traditionelle Predict‑Verify‑Spekulationen konnten zwar die Serialisierung brechen, blieben aber durch den zusätzlichen Verifizierungsaufwand begrenzt.

Mit SPAgent wird die Spekulation systematisch erweitert. Der Algorithmus führt ein zweiphasiges, adaptives Spekulationsmodell ein, das die Verifikation nur dann auslässt, wenn dies sicher ist. Parallel dazu steuert ein zweistufiger Scheduler die spekulativen Anfragen basierend auf der aktuellen Engine‑Last, sodass Spekulation stets einen Nutzen bringt.

In umfangreichen Experimenten konnte SPAgent die End‑zu‑End‑Geschwindigkeit um bis zu 1,65‑fach steigern, während die Genauigkeit gleich blieb oder sogar besser wurde. Damit eröffnet sich ein praktikabler Weg, mehrstufige Suchagenten in realen Systemen einzusetzen, ohne Kompromisse bei Leistung oder Zuverlässigkeit einzugehen.