Arcee präsentiert Trinity Large: 400 Billionen Parameter, neue MoE-Strategie
Arcee AI hat heute den technischen Bericht zu ihrem neuesten Sprachmodell Trinity Large veröffentlicht. Das sparsamente Mixture-of-Experts-Modell verfügt über insgesamt 400 Billionen Parameter, von denen pro Token ledig…
- Arcee AI hat heute den technischen Bericht zu ihrem neuesten Sprachmodell Trinity Large veröffentlicht.
- Das sparsamente Mixture-of-Experts-Modell verfügt über insgesamt 400 Billionen Parameter, von denen pro Token lediglich 13 Billionen aktiv sind.
- Parallel dazu werden die kompakteren Varianten Trinity Nano (6 Billionen Parameter, 1 Billionen aktiv) und Trinity Mini (26 Billionen Parameter, 3 Billionen aktiv) vorge…
Arcee AI hat heute den technischen Bericht zu ihrem neuesten Sprachmodell Trinity Large veröffentlicht. Das sparsamente Mixture-of-Experts-Modell verfügt über insgesamt 400 Billionen Parameter, von denen pro Token lediglich 13 Billionen aktiv sind. Parallel dazu werden die kompakteren Varianten Trinity Nano (6 Billionen Parameter, 1 Billionen aktiv) und Trinity Mini (26 Billionen Parameter, 3 Billionen aktiv) vorgestellt.
Die Architektur von Trinity Large setzt auf eine Kombination aus interleaved local und global Attention, gated Attention, depth‑scaled Sandwich‑Norm sowie sigmoid‑Routing für die Mixture‑of‑Experts. Ein besonderes Highlight ist die neue Load‑Balancing‑Strategie „Soft‑clamped Momentum Expert Bias Updates“ (SMEBU), die die Verteilung der Expertenlast optimiert. Das Training erfolgte mit dem Muon‑Optimizer und zeigte keine Verlustspitzen – ein Beleg für die Stabilität des Ansatzes.
Trinity Nano und Trinity Mini wurden auf 10 Billionen Tokens vortrainiert, während Trinity Large auf beeindruckenden 17 Billionen Tokens trainiert wurde. Alle Modell‑Checkpoints sind unter https://huggingface.co/arcee-ai verfügbar.
Welche Linse du auf diese Meldung legen solltest
Dieses Thema ist relevant, weil es zeigt, wie sich KI-Produkte, Modelle oder Rahmenbedingungen in der Praxis verschieben.
Achte zuerst darauf, was sich fuer Nutzer, Builder oder Unternehmen konkret veraendert und ob daraus ein nachhaltiger Trend entsteht.