Warnung: Auswahlverzerrung bei Schätzungen des Algorithmusfortschritts
In einer kürzlich veröffentlichten Notiz wird ein möglicher methodologischer Fehler in der Analyse des Algorithmusfortschritts durch Sprachmodelle aufgezeigt. Die Studie von Ho und Kollegen aus dem Jahr 2024 versucht, die Effizienz von Algorithmen anhand beobachteter Verlustwerte von Sprachmodellen über die Zeit zu bestimmen. Sie kommen zu dem Ergebnis, dass die erreichte Verlustleistung bei festem Rechenaufwand im Laufe der Zeit abnimmt, was auf eine steigende algorithmische Effizienz hindeutet.
