GPT‑4o zeigt tägliche und wöchentliche Leistungszyklen
In einer neuen Studie wurde die Annahme, dass die Leistung von Sprachmodellen konstant bleibt, auf die Probe gestellt. Forscher haben GPT‑4o über einen Zeitraum von etwa drei Monaten alle drei Stunden mit exakt denselbe…
- In einer neuen Studie wurde die Annahme, dass die Leistung von Sprachmodellen konstant bleibt, auf die Probe gestellt.
- Forscher haben GPT‑4o über einen Zeitraum von etwa drei Monaten alle drei Stunden mit exakt denselben Eingaben getestet.
- Für jeden Zeitpunkt wurden zehn Antworten generiert und deren Qualität gemittelt.
In einer neuen Studie wurde die Annahme, dass die Leistung von Sprachmodellen konstant bleibt, auf die Probe gestellt. Forscher haben GPT‑4o über einen Zeitraum von etwa drei Monaten alle drei Stunden mit exakt denselben Eingaben getestet. Für jeden Zeitpunkt wurden zehn Antworten generiert und deren Qualität gemittelt.
Die Analyse der Zeitreihe mittels Fourier‑Transformation ergab, dass die durchschnittliche Leistung des Modells nicht statisch ist, sondern regelmäßig schwankt. Etwa 20 % der Gesamtvarianz lassen sich durch einen täglichen und einen wöchentlichen Rhythmus erklären. Diese periodischen Muster zeigen, dass selbst unter streng kontrollierten Bedingungen die Leistung von LLMs zeitlich variieren kann.
Die Ergebnisse werfen ein Schlaglicht auf die Zuverlässigkeit und Reproduzierbarkeit von Forschung, die auf Sprachmodellen basiert. Sie betonen die Notwendigkeit, zeitliche Schwankungen bei der Planung und Auswertung von Experimenten zu berücksichtigen, um valide und nachvollziehbare Ergebnisse zu gewährleisten.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.