Nvidia domina absolutamente en el entrenamiento de redes neuronales, pero la etapa de inferencia (generar respuestas en tiempo real) requiere matemáticas diferentes. Las GPU tradicionales son excesivas aquí y demasiado caras en términos de costos de energía (TCO). Al introducir la "inferencia determinista", Nvidia tiene la intención de matar dos pájaros de un tiro: destruir a competidores emergentes como Groq en su propio terreno y reducir radicalmente el costo de las solicitudes de API para los proveedores de la nube. Este es el comienzo de una nueva fase de guerras de precios en el hardware.
Fuente: WSJ / Reuters
HardwareNvidiaGroqInferenciaChips
