Компания Alibaba Cloud представила 12 сентября 2025 года Qwen3-Next — не просто новую модель, а целую архитектуру, нацеленную на достижение максимальной вычислительной эффективности. Флагманская модель новой архитектуры, Qwen3-Next-80B-A3B, имеет 80 миллиардов параметров, но во время работы (инференса) активирует только 3 миллиарда. Это достигается за счет двух ключевых инноваций: сверхразреженной структуры "смеси экспертов" (ultra-sparse MoE), где из 512 "экспертов" для обработки токена выбираются всего 10, и гибридного механизма внимания. Такой подход позволяет модели по производительности превосходить плотную 32-миллиардную модель предыдущего поколения, при этом затраты на ее обучение составляют менее 10% от предшественника, а скорость работы с длинным контекстом возрастает более чем в 10 раз. Этот релиз подчеркивает смещение фокуса в гонке ИИ с простого наращивания числа параметров на умные архитектурные решения, делающие передовые модели более быстрыми, дешевыми и доступными.
Alibaba представляет Qwen3-Next — новую эффективную архитектуру для LLM
