Este incidente expone el principal problema del mercado de modelos fronterizos. Kimi K3, con sus 2,8 billones de parámetros y una ventana de contexto de 1 millón de tokens, requiere cantidades colosales de VRAM para la inferencia. En medio de la escasez de chips, la startup eligió pragmáticamente proteger los SLA de los clientes existentes en lugar de buscar otros nuevos. La salida del cuello de botella de la infraestructura será el lanzamiento de pesos abiertos completos, anunciado para el 27 de julio. Al lanzar la arquitectura a código abierto, Moonshot AI se libera de la carga de inferencia, obligando a las corporaciones a ejecutar el agente pesado en sus propios servidores (on-premise).
Fuente: Moonshot AI / Reuters
LLMMoonshot AIInfraestructuraB2BChina