Dynamische Demonstrationsinsertion verbessert mathematisches Denken bei LLMs

In der Forschung zu großen Sprachmodellen (LLMs) hat sich das In-Context Learning (ICL) als äußerst wirkungsvoll erwiesen, doch seine Anwendung auf Aufgaben, die schrittweise logische Deduktion erfordern, blieb bislang wenig untersucht. Ein zentrales Problem der bisherigen ICL-Methoden ist die statische Auswahl von Demonstrationen: Beispiele werden vor der Inferenz festgelegt und bleiben unverändert, wodurch sie nicht auf die dynamischen Verwirrungspunkte reagieren können, die bei mehrstufigen Rechenaufgaben auftreten.

Um dieses Defizit zu beheben, wurde das Konzept des Process In-Context Learning (PICL) vorgestellt. PICL arbeitet in zwei Phasen: Zunächst werden potenzielle Verwirrungspunkte durch Analyse von Semantik und Entropie im Denkprozess identifiziert und zusammengefasst. Anschließend werden passende Demonstrationen aus einer Pool-Liste abgerufen und in Echtzeit in den laufenden Denkprozess eingefügt, um die folgenden Schritte zu leiten.

Experimentelle Ergebnisse zeigen, dass PICL die Genauigkeit bei mathematischen Aufgaben deutlich steigert, indem es die Verwirrung während der Inferenz reduziert. Diese adaptive Demonstrationsinsertion demonstriert das Potenzial, komplexe mathematische Probleme mit LLMs effektiver zu lösen und eröffnet neue Wege für die Weiterentwicklung von KI-basierten Problemlösungsansätzen.