Neue Methode ermöglicht unbegrenzte Textlänge für Sprachmodelle

Sprachmodelle wie GPT haben die Verarbeitung natürlicher Sprache revolutioniert, doch ihre Fähigkeit, lange Texte zu verstehen, ist durch die Größe des Kontextfensters begrenzt. Traditionelle Ansätze zur Längenextrapolation leiden häufig unter Leistungseinbußen oder hohen Rechenkosten.

Forscher haben einen einheitlichen Rahmen entwickelt, der Positionseingaben als Zerlegung des Aufmerksamkeitswerts in eine multiplikative Transformation und einen additiven Bias interpretiert. Dieser Ansatz fasst bekannte Methoden wie relative Positions‑Embeddings und attention‑bias‑moderierte Verfahren zusammen und zeigt zugleich ihre inhärenten Schwächen bei der Handhabung von Langstreckenabhängigkeiten auf.

Aufbauend auf dieser Theorie stellen die Autoren Adaptive Positional Encoding (APE) vor. APE nutzt adaptive Frequenzmodulation und einen komplex gestalteten Abklingbias, der lineare, logarithmische und Wurzel‑Termine kombiniert. Die theoretische Analyse liefert Bedingungen für die extrapolation zu unendlicher Kontextlänge, sodass die Softmax‑Normalisierung auch bei unbegrenzten Sequenzen definiert bleibt und gleichzeitig lange‑Entfernungs‑Korrelationen, begrenzte Entropie und sensitivere Gradientenpositionen erhalten bleiben.

Die Wirksamkeit wird durch Experimente auf dem TinyStories‑Datensatz sowie einem neuen synthetischen Datensatz namens Long Tiny Stories, der Geschichten bis zu 32.000 Wörtern enthält, demonstriert. Der zugehörige Code, die Daten und die Modellgewichte sind unter https://anonymous.4open.science/r/Check-2DAD/ verfügbar.