Weibo: VibeThinker-1.5B schlägt DeepSeek-R1 bei kleinem Budget

Weibo, das chinesische Social‑Media‑Unternehmen, hat sein neuestes Open‑Source‑KI-Modell VibeThinker‑1.5B vorgestellt. Das 1,5‑Milliarden‑Parameter‑LLM ist ein feinabgestimmtes Abkömmling des Alibaba‑Modells Qwen2.5‑Math‑1.5B und steht Forschern sowie Unternehmen unter der permissiven MIT‑Lizenz zur Verfügung. Downloads und Nutzung sind über Hugging Face, GitHub und ModelScope möglich, während ein technischer Bericht auf arXiv veröffentlicht wurde.

Erstaunlich ist, dass VibeThinker‑1.5B trotz seiner kompakten Größe Spitzenleistungen bei mathematischen und programmiertechnischen Aufgaben erzielt. Auf dem Formal‑Reasoning‑Benchmark übertrifft es das 671‑Billionen‑Parameter‑Modell DeepSeek‑R1, das Anfang dieses Jahres viral ging. Darüber hinaus hält es sich mit Mistral AI’s Magistral Medium, Anthropic’s Claude Opus 4 und OpenAI’s gpt‑oss‑20B Medium auf Augenhöhe, während es nur einen Bruchteil der Recheninfrastruktur und des Budgets erfordert.

Der Post‑Training‑Kostenrahmen beläuft sich auf lediglich 7.800 USD, was 3.900 GPU‑Stunden auf Nvidia H800‑Karten entspricht – ein Bruchteil der üblichen Kosten, die für die Feinabstimmung von Modellen ähnlicher oder größerer Größe anfallen. Es ist wichtig zu beachten, dass dies nicht die Gesamtkosten der Modellentwicklung umfasst; LLMs durchlaufen mehrere Phasen, beginnend mit dem Pre‑Training, in dem das Modell grundlegende Sprachstrukturen erlernt.