Long‑FFT‑Convolutions auf FPGAs: Chunking ermöglicht 450 K‑Längen‑Sequenzen

Die wachsende Nachfrage nach langen Kontextverarbeitungen hat neue neuronale Architekturen hervorgebracht, die über die klassischen Transformer hinausgehen. Ein besonders vielversprechendes Modell ist Hyena, das auf kausale 1‑D‑Convolutions setzt, die mittels FFTs berechnet werden. Diese langen Convolutions ermöglichen eine effiziente globale Kontextmischung, erfordern jedoch Zwischenergebnisse, die die 2‑3 MB‑Block‑RAM‑Kapazität herkömmlicher FPGAs sprengen.

In einer kürzlich veröffentlichten Arbeit wird ein Chunk‑basierter FFT‑Convolution‑Ansatz vorgestellt, der es ermöglicht, Sequenzen und Filter mit einer Länge von 450 K auf einer Alveo U200‑FPGA mit lediglich 2,8 MB BRAM zu verarbeiten. Durch gezieltes Chunking und die Rekonstruktion mittels Overlap‑Add wird die Speicherlast reduziert, ohne die Berechnungsleistung zu beeinträchtigen.

Die Ergebnisse zeigen, dass die Durchsatzrate proportional zur Chunk‑Größe steigt, während die Leistung bei den längsten Sequenzen nur um etwa 7 % abnimmt. Damit demonstriert die Studie, dass sorgfältiges Speicher‑Management es erlaubt, lange Kontext‑Primitives auf Edge‑FPGAs einzusetzen, ohne dabei an Performance einzubüßen.