Red Hat OpenShift AI

Red Hat OpenShift AI 3.0: Arquitectura Agentiva y Distribuida

A partir de enero de 2026, RHOAI ha evolucionado a la versión 3.0, centrada en la inteligencia de inferencia distribuida y el soporte de agentes autónomos. La plataforma integra llm-d, un motor de alto rendimiento diseñado para optimizar el servicio de LLM en Kubernetes mediante la extensión Gateway API Inference 📑.

Capa de Orquestación y Alineación de Modelos

El núcleo de la plataforma ahora incluye un conjunto de herramientas InstructLab integrado, que permite la personalización de modelos basada en taxonomía sin olvido catastrófico 📑.

• Servicio Distribuido llm-d: Utiliza NVIDIA NIXL y DeepEP para la comunicación de baja latencia en Mixture-of-Experts (MoE), permitiendo el escalado fluido de modelos grandes en clústeres GPU multinodo 📑.
• Infraestructura Agentiva: Soporte nativo para el Model Context Protocol (MCP) y las APIs de Llama Stack, facilitando la creación de agentes de IA que pueden interactuar con datos empresariales mediante conectores estandarizados 📑.
• Perfiles de Hardware: Reemplaza los perfiles de aceleradores heredados, proporcionando un control granular sobre la asignación de recursos NPU, GPU (H200/B200) e IBM Z/Power 📑.

⠠⠉⠗⠑⠁⠞⠑⠙⠀⠃⠽⠀⠠⠁⠊⠞⠕⠉⠕⠗⠑⠲⠉⠕⠍

Ingesta de Datos y Gobernanza TrustyAI

RHOAI 3.0 incorpora el proyecto Docling para la ingesta avanzada de datos no estructurados, convirtiendo documentos complejos en formatos listos para RAG y ajuste fino 📑.

• Monitorización de Sesgos TrustyAI: La detección automatizada de deriva de modelos y sesgos ya está disponible con carácter general, utilizando el operador TrustyAI nativo de Kubernetes para auditorías de inferencia en tiempo real 📑.
• Modelos como Servicio (MaaS): Catálogo centralizado de modelos y AI Gateway que ofrecen acceso seguro y medido a modelos internos con gestión integrada de cuotas 📑.

Recomendaciones de Evaluación

Los arquitectos técnicos deben priorizar el motor llm-d para todos los despliegues de modelos MoE con el fin de garantizar un TCO óptimo. Las organizaciones que migren desde la versión 2.x deben actualizar sus definiciones de pipeline a la especificación 3.0 para utilizar los Perfiles de Hardware. Verifique que la integración de su almacén de vectores aproveche la nueva capa de compatibilidad con Llama Stack para una orquestación de agentes preparada para el futuro 📑.