Nvidia безусловно доминирует в обучении (training) нейросетей, но этап вывода (inference) — генерации ответов в реальном времени — требует иной математики. Традиционные GPU здесь избыточны и слишком дороги по затратам энергии (TCO). Внедряя "детерминированный инференс", Nvidia намерена убить двух зайцев: уничтожить появляющихся конкурентов вроде Groq на их же поле и радикально снизить стоимость API-запросов для облачных провайдеров. Это начало нового этапа ценовых войн в железе.
Источник: WSJ / Reuters
HardwareNvidiaGroqInferenceChips