Nvidia обяви, че ускорителите Groq 3 LPX вече се произвеждат серийно и ще се появят на пазара до края на тази година. Тези чипове са специализирани в ускоряването на инференса – процесът, при който предварително обучен ИИ модел анализира нови данни и дава отговор или прогноза.
Ускорителите Groq 3 LPX ще бъдат част от платформата Vera Rubin и ще се използват за агентски задачи. Първият клиент на Nvidia, подписал договор за доставка, е компанията Nebius на Аркадий Воложа. В един сървърен шкаф могат да бъдат обединени до 256 ускорителя LP30, което намалява закъсненията при обработката на заявки. Тестове показват, че ускорителят осигурява рекордна пропускателна способност от 3400 токена в секунда при размер на контекстуалния прозорец от 100 000 токена.
Според Nvidia, това увеличава отзивчивостта на системата 4 пъти в сравнение с конкурентни решения, като значително намалява времето за изпълнение на задачите от ИИ-агентите. Това се дължи до голяма степен на наличието на чипа Groq 3 LPX с бърза SRAM памет с обем 500 MB.
Същевременно Nvidia обяви, че е сключила договор със SpaceX за доставка на компоненти за платформата Vera Rubin. Чиповете Groq 3 LPX за Nvidia се произвеждат от Samsung Electronics, тъй като първоначалният стартъп е сътрудничил с този договорни производител. За останалата част от продукцията на Nvidia е по-характерно използването на услугите на тайванската компания TSMC.
Основателят на Nvidia Дженсен Хуанг заяви през пролетта, че ускорителите от типа Groq ще заемат до една четвърт от пазара на центрове за данни в сегмента, ориентиран към разработката на софтуер с помощта на изкуствен интелект. Ускоряването на производството на следващо поколение ИИ чипове е от ключово значение за целия технологичен сектор.
По информация на Kaldata.
