RedOne 2.0: Neue Lernstrategie für Sprachmodelle in sozialen Netzwerken

Soziale Netzwerke stellen Sprachmodelle vor besondere Herausforderungen: heterogene Arbeitslasten, sich rasch wandelnde Normen und Slang, sowie mehrsprachige, kulturell vielfältige Daten führen zu starken Verteilungssprüngen. Traditionelles Supervised Fine‑Tuning (SFT) kann Modelle spezialisieren, birgt jedoch das Risiko eines „Schwankens“ zwischen In‑Distribution‑Gewinnen und Out‑of‑Distribution‑Robustheit – ein Problem, das bei kleineren Modellen besonders auffällig ist.

RedOne 2.0 begegnet diesen Problemen mit einem progressiven, RL‑priorisierten Post‑Training‑Paradigma, das speziell für soziale Netzwerke entwickelt wurde. Der Ansatz gliedert sich in drei Phasen:

• Exploratory Learning – Auf kuratierten SNS‑Korpora wird zunächst eine Grundausrichtung geschaffen und systematische Schwächen identifiziert.
• Targeted Fine‑Tuning – SFT wird gezielt auf die diagnostizierten Lücken angewendet, während ein kleiner Anteil genereller Daten eingebunden wird, um Vergessensrisiken zu minimieren.
• Refinement Learning – Durch erneutes RL mit SNS‑zentrierten Signalen werden die Verbesserungen konsolidiert und die Kompromisse zwischen den Aufgaben ausgeglichen.

In einer Vielzahl von Aufgaben, die drei Kategorien abdecken, erzielt das 4 B‑Modell durchschnittlich 2,41 Punkte mehr als ein 7 B‑Sub‑Optimal‑Baseline. Zudem übertrifft RedOne 2.0 die Basisleistung um durchschnittlich 8,74 Punkte, während es weniger als die Hälfte der Daten nutzt, die das SFT‑zentrierte RedOne benötigt. Diese Ergebnisse demonstrieren eine deutlich höhere Daten‑ und Stabilitätseffizienz bei kompakten Modellen.

RedOne 2.0 setzt damit einen wettbewerbsfähigen, kosteneffizienten Standard für domänenspezifische LLMs in sozialen Netzwerken und bietet eine solide Basis für weitere Entwicklungen in diesem dynamischen Bereich.