Long‑FFT‑Convolutions auf FPGAs: Chunking ermöglicht 450 K‑Längen‑Sequenzen
Die wachsende Nachfrage nach langen Kontextverarbeitungen hat neue neuronale Architekturen hervorgebracht, die über die klassischen Transformer hinausgehen. Ein besonders vielversprechendes Modell ist Hyena, das auf kausale 1‑D‑Convolutions setzt, die mittels FFTs berechnet werden. Diese langen Convolutions ermöglichen eine effiziente globale Kontextmischung, erfordern jedoch Zwischenergebnisse, die die 2‑3 MB‑Block‑RAM‑Kapazität herkömmlicher FPGAs sprengen.