Компания NVIDIA (по сообщению Reuters от 3 декабря, актуально на 4 декабря 2025 года) продемонстрировала значительный скачок производительности своих новых серверных решений. Использование 72-чиповых конфигураций с высокоскоростными интерконнектами позволило добиться 10-кратного ускорения при обслуживании моделей архитектуры Mixture-of-Experts (MOE). Это улучшение критически важно для эффективного масштабирования и снижения стоимости инференса современных массивных LLM, таких как модели от китайской Moonshot AI и других разработчиков.
NVIDIA: Новые серверы ускоряют инференс MOE-моделей в 10 раз
