Quantum‑inspiriertes Self‑Attention steigert GPT‑1‑Leistung um 15,5‑fach

In den letzten Jahren haben transformerbasierte Modelle die Entwicklung der natürlichen Sprachverarbeitung maßgeblich vorangetrieben. Dabei spielen Self‑Attention‑Mechanismen eine zentrale Rolle, um die Beziehungen zwischen Tokens in einer Sequenz zu erfassen. Parallel dazu versucht das Feld der Quantum Natural Language Processing, quantenbasierte Prinzipien zu nutzen, um Sprachverständnis und -generierung zu verbessern. Zu diesem Zweck wurden kürzlich quantenbasierte Self‑Attention‑Mechanismen entwickelt.

Die neue Studie präsentiert einen klassischen, quantum‑inspirierten Self‑Attention‑Mechanismus (QISA) und integriert ihn erstmals vollständig in die autoregressive Sprachmodellierungspipeline von GPT‑1. Während frühere Versuche von quantum‑inspirierten Attention‑Modellen sich hauptsächlich auf Textklassifikationsaufgaben beschränkten, demonstriert diese Arbeit die Anwendung im Kontext des Sprachgenerierens und stellt damit einen Meilenstein dar.

Die experimentellen Ergebnisse zeigen, dass QISA die Standard‑Self‑Attention‑Modelle in allen drei wichtigsten Metriken deutlich übertrifft: die Zeichenfehlerquote (Character Error Rate) wird um das 15,5‑fache reduziert, die Wortfehlerquote (Word Error Rate) um das 4,7‑fache und die Kreuzentropie (Cross‑Entropy Loss) um das 13‑fache. Diese Verbesserungen kommen jedoch mit einer moderaten Kostensteigerung bei der Inferenzzeit, die um das 2,6‑fache länger dauert. Trotz dieser zusätzlichen Rechenzeit demonstriert QISA ein enormes Potenzial, die Leistungsfähigkeit von Sprachmodellen durch quantum‑inspirierte Ansätze zu erhöhen.