InftyThink mit Memory: Semantische Lemma‑Retrieval verbessert LLM‑Logik
In der neuesten Veröffentlichung von InftyThink wird ein innovatives Konzept vorgestellt, das iterative Zusammenfassungs‑Reasoning-Frameworks auf ein neues Level hebt. Durch die Einführung eines semantischen Caches, der auf Embeddings basiert, kann das Modell bereits erfolgreiche Denkstrategien aus früheren Aufgaben abrufen und gezielt in neue Problemlösungen einfließen lassen.
Der Ansatz funktioniert, indem bei jedem Rechenschritt die semantisch ähnlichsten gespeicherten Lemmas aus dem Cache gezogen und als Kontext für die aktuelle Inferenz verwendet werden. Dadurch wird das Kontextfenster nicht unnötig erweitert, sondern die Logik des Modells wird durch bewährte Muster verfeinert.
In umfangreichen Tests auf MATH500, AIME2024 und GPQA‑Diamond zeigte sich, dass die lemma‑basierte Retrieval‑Strategie die Genauigkeit in strukturierten Domänen signifikant steigert. Gleichzeitig wurden Schwachstellen in Misch‑Domänen‑Tests sichtbar, die die Grenzen der Methode aufzeigen.
Eine geometrische Analyse der Regressionspfade verdeutlicht, dass die Cache‑Retrieval‑Mechanik Richtungsbiases im Embedding‑Raum erzeugt. Diese führen zu sogenannten „Fix‑Attractoren“, die die Basis‑Genauigkeit verbessern, sowie zu „Break‑Attractoren“, die sie verschlechtern.
Die Ergebnisse unterstreichen sowohl die Potenziale als auch die Grenzen von semantischer, similarity‑basierter Erinnerung für die Selbstverbesserung von LLM‑Reasoning. Der Ansatz bietet einen vielversprechenden Weg, um die Leistungsfähigkeit großer Sprachmodelle in komplexen, mehrstufigen Aufgaben zu erhöhen, während gleichzeitig die Herausforderungen einer breiten Anwendbarkeit klar herausgearbeitet werden.