Xmodel‑2.5: 1,3 Milliarden‑Parameter‑Modell für effizientes Edge‑Reasoning

Die neuesten Fortschritte in der KI zeigen, dass große Sprachmodelle exzellente Fähigkeiten im logischen Denken und bei Tool‑Nutzung besitzen, jedoch ihre enormen Rechenanforderungen sie für Edge‑ oder kostensensitive Anwendungen ungeeignet machen. Mit Xmodel‑2.5, einem 1,3‑Milliarden‑Parameter‑Modell, wird dieses Problem angegangen: Es ist als „Drop‑in‑Agent‑Core“ konzipiert und lässt sich leicht in bestehende Systeme integrieren.

Ein zentrales Merkmal ist die maximale‑Update‑Parameterisierung (μP), die es ermöglicht, Hyperparameter, die auf einem 20‑Mio‑Parameter‑Proxy optimiert wurden, direkt auf das volle Modell zu übertragen – selbst bei einer Parameter‑Tied‑Word‑Embedding‑Architektur. Durch die Kombination eines 1,4‑Tera‑Token‑Warmup‑Stable‑Decay‑Curriculums und die geschickte Umstellung von AdamW auf Muon während der Decay‑Phase wird die durchschnittliche Leistung über 13 Reasoning‑Aufgaben um 4,58 % gesteigert, ohne andere Hyperparameter zu verändern.

Die Trainingspipeline nutzt FP8‑Mixed‑Precision, um Genauigkeit und Durchsatz zu balancieren. Alle Checkpoints, Trainingsrezepte und Evaluationscodes stehen unter der Apache‑2.0‑Lizenz zur Verfügung. Weitere Informationen, Modelle und Trainingsdaten finden Sie auf Hugging Face sowie im GitHub‑Repository des Projekts.