Hierarchisches Spekulatives Decoding steigert Effizienz um 12 %
Eine neue Methode namens Hierarchisches Spekulatives Decoding (HSD) löst ein langjähriges Problem bei der Beschleunigung von Sprachmodellen: die Verifikation von Vorhersagen. Durch die Überprüfung ganzer Sequenzen statt einzelner Tokens erhöht HSD die Anzahl der akzeptierten Tokens deutlich, ohne die Verteilung der Ergebnisse zu verfälschen.