Llama 3

Описание

Llama 3 представляет собой значительное обновление в семействе больших языковых моделей Meta AI, устанавливая новые стандарты для открытых LLM. Выпущенные в апреле 2024 года модели Llama 3 с 8 и 70 миллиардами параметров были обучены на беспрецедентном объеме данных — более 15 триллионов токенов, что в 7 раз больше, чем у Llama 2. Это позволило значительно улучшить возможности моделей в понимании языка, генерации кода, логических рассуждениях и следовании сложным инструкциям. Llama 3 демонстрирует высокую производительность в стандартных бенчмарках, часто превосходя другие открытые модели сопоставимого размера и конкурируя с некоторыми проприетарными системами. Meta уделила особое внимание снижению "ложных отказов" и повышению управляемости моделей. Все выпущенные модели Llama 3 имеют контекстное окно 8K токенов, что позволяет обрабатывать большие объемы информации. Ключевым аспектом Llama 3, как и Llama 2, является открытая лицензия (Llama 3 Community License), которая позволяет использовать модели как для исследований, так и для коммерческих приложений, способствуя инновациям в сообществе ИИ. Модели доступны для скачивания через Hugging Face, а также интегрированы во многие облачные платформы (AWS, Google Cloud, Azure, Databricks и др.) и аппаратные решения (NVIDIA, Intel, AMD). В будущем Meta планирует выпустить еще более крупные и мультимодальные версии Llama 3 (включая модель 400B+ параметров), расширяя их возможности. Llama 3 является мощной основой для создания чат-ботов, систем генерации контента, инструментов для разработчиков и других AI-приложений.