Nvidia начала массовое производство ИИ-систем на базе Groq 3

Компания Nvidia начала полномасштабное производство стоек Groq 3 LPX для систем искусственного интеллекта. Это стало следующим этапом коммерциализации технологии, полученной после приобретения активов разработчика ИИ-чипов Groq за 20 млрд долларов.

Новые системы будут использоваться вместе с центральными процессорами Nvidia Vera и графическими процессорами Rubin у поставщика облачной инфраструктуры Nebius. Ожидается, что они начнут работать позднее в этом году.

Groq 3 LPX предназначены прежде всего для обработки запросов с минимальной задержкой после завершения обучения ИИ-моделей. Nvidia сообщает, что одна стойка включает 256 чипов Groq 3 и способна генерировать около 3400 токенов в секунду.

Компания подчеркивает, что специализированные системы не должны заменять графические процессоры, а будут дополнять их. Чипы Groq ориентированы прежде всего на этап декодирования, когда обученная модель формирует ответы пользователям.

В Nvidia также рассчитывают на рост спроса на системы для ИИ-агентов и программирования, где скорость обработки запросов напрямую влияет на качество работы сервисов.