Warnung: Auswahlverzerrung bei Schätzungen des Algorithmusfortschritts

In einer kürzlich veröffentlichten Notiz wird ein möglicher methodologischer Fehler in der Analyse des Algorithmusfortschritts durch Sprachmodelle aufgezeigt. Die Studie von Ho und Kollegen aus dem Jahr 2024 versucht, die Effizienz von Algorithmen anhand beobachteter Verlustwerte von Sprachmodellen über die Zeit zu bestimmen. Sie kommen zu dem Ergebnis, dass die erreichte Verlustleistung bei festem Rechenaufwand im Laufe der Zeit abnimmt, was auf eine steigende algorithmische Effizienz hindeutet.

Die kritische Anmerkung in der Notiz betont, dass ein Teil der algorithmischen Qualität latente Faktoren enthalten kann, die nicht direkt gemessen werden. Gleichzeitig sind die Entscheidungen über den Einsatz von Rechenleistung oft von der erwarteten Qualität des Algorithmus abhängig. Diese Endogenität kann zu einer Verzerrung der Schätzungen führen, weil Modelle mit höherer Qualität tendenziell mehr Rechenleistung erhalten.

Der Autor warnt daher vor der Interpretation der beobachteten Trends als reine Fortschrittsindikatoren. Ohne die Berücksichtigung möglicher Auswahlverzerrungen könnte die scheinbare Verbesserung der Effizienz übertrieben dargestellt werden. Die Erkenntnis unterstreicht die Notwendigkeit, bei der Analyse von Sprachmodellen sowohl die Messbarkeit als auch die Entscheidungsprozesse für Rechenressourcen sorgfältig zu prüfen.