Student Guides Teacher: Spectral Orthogonal Exploration steigert LLM-Logik um 62 %

Große Sprachmodelle (LLMs) erreichen inzwischen nahezu menschliche Leistungen, doch bei komplexen mathematischen Beweisen und langfristigen Planungen geraten sie häufig in einen sogenannten „Reasoning Collapse“. Dabei verfällt das Modell in eine niedrigrangige Bias‑Manifold, sodass zufällige Stichproben lediglich lexikalische Varianten fehlerhafter Logik erzeugen, anstatt semantisch neue Lösungswege zu erkunden. Dieses geometrische Zusammenfallen macht das System blind für wertvolle Lösungen, die im Nullraum des Modells liegen.

Um diesem Problem entgegenzuwirken, präsentiert die neue Studie einen Ansatz namens Spectral Orthogonal Exploration (SOE). SOE arbeitet nach dem provokanten „Student Guides Teacher“-Paradigma: Ein schwacher Hilfsagent wird nicht zum Imitieren, sondern als orthogonaler Probe eingesetzt. Durch gezielte Navigation im Nullraum des Lehrers fungiert SOE als geometrische Brücke, die das Modell aus lokalen Optima herausführt und vielfältige, hochwertige Lösungsräume erschließt.

Experimentelle Tests auf mathematischen Benchmarks zeigen, dass SOE die durchschnittliche Genauigkeit im Vergleich zu bestehenden Methoden um 62,4 % steigert und die Sampling‑Effizienz um 113,7 % erhöht. Diese Ergebnisse deuten auf einen vielversprechenden Weg hin, Leistungsplateaus bei anspruchsvollen Rechenaufgaben zu überwinden.