Компания OpenAI 13 мая 2024 года представила свою последнюю флагманскую модель ChatGPT, где "o" означает "omni" (всеобъемлющий), подчеркивая ее революционные нативные мультимодальные возможности. Эта модель способна обрабатывать и генерировать контент, комбинируя текст, аудио и изображение, что знаменует собой значительный шаг к более естественному и интуитивному взаимодействию человека с компьютером.
GPT-4o обеспечивает интеллект уровня GPT-4, но при этом значительно быстрее и экономичнее. В API модель на 50% дешевле, чем GPT-4 Turbo, и предлагает увеличенные лимиты скорости. Что еще более важно, OpenAI начала предоставлять доступ к GPT-4o, включая ее текстовые и визуальные возможности, пользователям бесплатного тарифа ChatGPT, в то время как подписчики ChatGPT Plus получают значительно более высокие лимиты сообщений.
Ключевой особенностью GPT-4o является ее способность к бесшовной обработке аудиовходов и выходов. В новом голосовом режиме пользователи могут общаться с ChatGPT так же естественно, как с человеком: модель реагирует на аудиовходы практически мгновенно (в среднем за 320 миллисекунд, что сопоставимо со временем реакции человека), может улавливать нюансы эмоций в голосе пользователя и генерировать голос в различных эмоциональных стилях, и даже смеяться или петь. Модель также может переводить языки в реальном времени и понимать, когда ее перебивают.
Визуальные возможности GPT-4o также впечатляют. Пользователи могут загружать изображения, скриншоты, документы с текстом и графиками, и модель способна анализировать их, отвечать на вопросы по содержанию или даже помогать в решении задач, изображенных на картинке. Например, она может помочь с решением математической задачи с фотографии или объяснить код на скриншоте.
OpenAI также анонсировала новое десктопное приложение ChatGPT для macOS, которое позволяет легко интегрировать ИИ в рабочий процесс на компьютере, включая возможность задавать вопросы голосом или через скриншоты. Планируется и версия для Windows.
Безопасность остается приоритетом для OpenAI. GPT-4o была разработана с использованием новейших техник для митигации рисков и прошла тщательное тестирование. Аудиовозможности нового голосового режима будут внедряться постепенно, начиная с альфа-тестирования для ограниченного числа пользователей ChatGPT Plus в ближайшие недели.
Запуск ChatGPT открывает новые горизонты для разработчиков и пользователей, делая продвинутые ИИ-технологии более доступными и интерактивными, чем когда-либо прежде.