Perplexity AI: TransferEngine & pplx garden Trillion-Parameter-LLMs GPU-Clustern

Perplexity AI hat heute die Open‑Source‑Infrastruktur TransferEngine zusammen mit dem zugehörigen pplx garden Toolkit veröffentlicht. Damit können Teams Modelle mit bis zu einer Billion Parametern auf bestehenden, gemischten GPU‑Clustern betreiben – ohne neue Hardware zu kaufen oder sich stark an einen einzelnen Anbieter zu binden.

TransferEngine übernimmt die effiziente Verteilung der Rechenlast über die vorhandenen GPUs, während das pplx garden Toolkit die Orchestrierung, Verwaltung und Optimierung der LLM‑Systeme vereinfacht. Die Kombination ermöglicht es, die Leistungsfähigkeit von Trillion‑Parameter‑Modellen in realen Produktionsumgebungen zu nutzen, ohne dass teure Upgrades nötig sind.

Durch die Open‑Source‑Veröffentlichung steht die Technologie allen Forschern und Entwicklern zur Verfügung. Perplexity AI betont, dass die Lösung skalierbar und flexibel ist, sodass Unternehmen ihre bestehenden GPU‑Cluster optimal ausnutzen können, ohne sich in proprietäre Ökosysteme einzubinden.