Leichtgewichtiges LLM ermöglicht KI‑Einführung in japanischen Unternehmen
Anzeige
Unternehmen stehen vor einer grundlegenden Herausforderung: Sie benötigen hochentwickelte Sprachmodelle, scheuen sich jedoch vor den hohen Infrastrukturkosten und dem Energieverbrauch der neuesten Systeme.
NTT Inc. hat mit der Einführung von tsuzumi 2, einem leichtgewichtigen LLM, das auf einer einzigen GPU läuft, gezeigt, wie diese Hürde überwunden werden kann. Erste Pilotprojekte demonstrieren, dass die Leistung von tsuzumi 2 mit größeren Modellen vergleichbar ist, während die Kosten und der Stromverbrauch deutlich reduziert werden.
Die Lösung von NTT bietet damit einen vielversprechenden Ansatz für Unternehmen, die KI in ihre Prozesse integrieren wollen, ohne die Ressourcen zu überstrapazieren.
Ähnliche Artikel
arXiv – cs.AI
•
LLM-Inferezzug: Energieverbrauch von Sprachmodellen gemessen
O’Reilly Radar
•
<strong>Kosten, Leistung und KI: Wie jedes generierte Wort Wirtschaftlich gemessen wird</strong>
PyTorch – Blog
•
2:4 Sparsity + Quantisierung: Der Schlüssel zur effizienten LLM‑Kompression
arXiv – cs.AI
•
KI-Agenten modernisieren Fortran-Code zu portablen Kokkos-Programmen
arXiv – cs.AI
•
LLMs meistern NL-FOL-Übersetzung dank neuer Benchmark-Methode
NVIDIA – Blog
•
Der große Wandel: Beschleunigte Computer revolutionieren die Wissenschaft