LLMs erreichen bei langen Aufgaben inhärente Stabilitätsgrenze – Theorie erklärt
Große Sprachmodelle (LLMs) zeigen beeindruckende Rechenfähigkeiten, doch bei Aufgaben, die viele Zwischenschritte erfordern, treten plötzlich Leistungsabfälle auf. Diese „Performance-Cliffs“ wurden bislang vor allem auf die zunehmende Komplexität der Aufgaben zurückgeführt, etwa durch exponentielle Suchräume oder Schwierigkeiten bei der langfristigen Belohnungszuweisung.
