RedOne 2.0: Neue Lernstrategie für Sprachmodelle in sozialen Netzwerken
Soziale Netzwerke stellen Sprachmodelle vor besondere Herausforderungen: heterogene Arbeitslasten, sich rasch wandelnde Normen und Slang, sowie mehrsprachige, kulturell vielfältige Daten führen zu starken Verteilungssprüngen. Traditionelles Supervised Fine‑Tuning (SFT) kann Modelle spezialisieren, birgt jedoch das Risiko eines „Schwankens“ zwischen In‑Distribution‑Gewinnen und Out‑of‑Distribution‑Robustheit – ein Problem, das bei kleineren Modellen besonders auffällig ist.
