Red Hat OpenShift AI

Red Hat OpenShift AI 3.0: Агентная и распределённая архитектура

С января 2026 года RHOAI перешла на версию 3.0, сосредоточившись на распределённом инференсе и поддержке автономных агентов. Платформа интегрирует llm-d — высокопроизводительный движок, оптимизированный для обслуживания LLM на Kubernetes через расширение Gateway API Inference Extension 📑.

Слой оркестрации и выравнивания моделей

Основной стек теперь включает встроенный инструментарий InstructLab, позволяющий настраивать модели на основе таксономии без катастрофического забывания 📑.

• Распределённое обслуживание llm-d: Использует NVIDIA NIXL и DeepEP для низколатентной связи Mixture-of-Experts (MoE), обеспечивая бесшовное масштабирование крупных моделей в многоузловых кластерах GPU 📑.
• Агентная инфраструктура: Нативная поддержка Model Context Protocol (MCP) и API Llama Stack, упрощающая создание ИИ-агентов, взаимодействующих с корпоративными данными через стандартизированные коннекторы 📑.
• Профили оборудования: Заменяют устаревшие профили ускорителей, предоставляя детализированный контроль над распределением ресурсов NPU, GPU (H200/B200) и IBM Z/Power 📑.

⠠⠉⠗⠑⠁⠞⠑⠙⠀⠃⠽⠀⠠⠁⠊⠞⠕⠉⠕⠗⠑⠲⠉⠕⠍

Ингестия данных и управление TrustyAI

RHOAI 3.0 интегрирует проект Docling для расширенной ингестии неструктурированных данных, преобразуя сложные документы в форматы, готовые для RAG и тонкой настройки 📑.

• Мониторинг смещения TrustyAI: Автоматическое обнаружение дрейфа моделей и смещения теперь доступно в GA, используя Kubernetes-оператор TrustyAI для аудита инференса в реальном времени 📑.
• Модели как услуга (MaaS): Централизованный каталог моделей и AI Gateway обеспечивают безопасный, измеряемый доступ к внутренним моделям с встроенным управлением квотами 📑.

Рекомендации по оценке

Техническим архитекторам следует отдавать приоритет движку llm-d для всех развёртываний моделей MoE с целью обеспечения оптимальной совокупной стоимости владения (TCO). Организациям, мигрирующим с версии 2.x, необходимо обновить определения пайплайнов до спецификации 3.0 для использования профилей оборудования. Убедитесь, что интеграция вашего векторного хранилища использует новый слой совместимости Llama Stack для будущей оркестрации агентов 📑.