Bestimmung der optimalen Modell- und Datensatzgröße bei festem Budget für LLMs
In einem kürzlich veröffentlichten Beitrag auf Towards Data Science wird untersucht, wie man bei begrenztem Budget die optimale Kombination aus Modellgröße und Datensatzumfang für große Sprachmodelle (LLMs) auswählt. Der Fokus liegt dabei auf einer kleinen, aber aussagekräftigen Studie, die Tiny Transformers als Testplattform nutzt.
