Akamai Cloud Inference
Integraciones
- NVIDIA Blackwell
- VAST Data
- Akamai Identity Cloud
- Kubernetes / Linode
- PyTorch / TensorFlow
Detalles de precios
- Los benchmarks de marketing afirman una reducción de costes de hasta el 86% en cargas de trabajo de inferencia en comparación con AWS.
- La facturación estándar se basa en el consumo de recursos (ciclos de GPU/CPU) y la transferencia de datos.
Características
- Infraestructura NVIDIA Blackwell (RTX 6000)
- Capa de integración VAST Data
- Soporte de inferencia multi-modelo
- Optimización de cargas de trabajo de IA agentica y física
- Mediación de privacidad nativa en el borde
- Procesamiento de vídeo con ASIC VPU
- Capa de persistencia gestionada unificada
Reseñas en video
Descripción
Evaluación Arquitectónica de Akamai Cloud Inference
La arquitectura de Akamai Inference Cloud representa un despliegue estratégico de recursos computacionales especializados —específicamente GPUs NVIDIA Blackwell (RTX 6000) y ASIC VPUs— a través de una red troncal global de nivel uno 📑. Esta infraestructura está diseñada para mitigar los cuellos de botella de rendimiento inherentes a los modelos centralizados de hiperescala, procesando datos en el perímetro de la red, lo que reduce efectivamente los requisitos de backhaul y minimiza la distancia física al usuario final.
Infraestructura Central y Capa de Datos
Las capacidades intensivas en datos de la plataforma se sustentan en una asociación estratégica con VAST Data, que proporciona una capa de almacenamiento unificada optimizada para cargas de trabajo de IA de alta concurrencia 📑. Esta integración permite el acceso a datos en tiempo real durante la inferencia, soportando generación aumentada por recuperación (RAG) compleja e inserción dinámica de contexto en el borde.
- Tejido Computacional: Utiliza una combinación de recursos CPU, GPU y ASIC para alinear las fortalezas específicas del hardware con las demandas de las cargas de trabajo 📑.
- Rendimiento en el Borde: Informes indican una latencia hasta 2,5 veces menor en comparación con las nubes centralizadas tradicionales, impulsada por la eliminación del enrutamiento multi-salto hacia los centros de datos principales 📑.
- Abstracción de Almacenamiento: La Capa de Persistencia Gestionada, integrada con VAST, proporciona el rendimiento (throughput) necesario para pesos de modelos a gran escala y registros de inferencia de alto volumen 📑.
⠠⠉⠗⠑⠁⠞⠑⠙⠀⠃⠽⠀⠠⠁⠊⠞⠕⠉⠕⠗⠑⠲⠉⠕⠍
Privacidad y Seguridad Arquitectónica
La seguridad se mantiene mediante una capa de mediación distribuida que aísla los entornos de ejecución del núcleo global de la red 🧠. Esto permite el procesamiento localizado de datos sensibles, como flujos biométricos o de vídeo privado, sin transmitir información en bruto a través de conexiones de larga distancia.
- Aislamiento de Datos: La implementación de contenedores efímeros o entornos de procesos aislados garantiza que se puedan cumplir las restricciones de residencia de datos a nivel de nodo perimetral 🧠.
- Control de Acceso: Emplea protocolos de acceso por capas para gobernar las representaciones internas de modelos y la mediación 🌑.
Directrices de Evaluación
Los equipos técnicos deben priorizar los siguientes pasos de validación:
- Densidad Geográfica: Mapear la disponibilidad de regiones con "Blackwell habilitado" frente a los puntos críticos de usuarios, ya que estos nodos de alta gama probablemente se desplieguen en menos ubicaciones que los PoP estándar de CDN 📑.
- Latencia de Arranque en Frío: Evaluar el tiempo de inicialización de contenedores de inferencia efímeros (Wasm frente a contenedores Linux) para verificar la capacidad de respuesta en menos de un segundo 🧠.
- Análisis de Costes: Auditar la afirmación de "ahorro del 86%" ejecutando un piloto paralelo para cargas de trabajo de alto rendimiento (throughput), ya que los ahorros dependen en gran medida de la reducción de egresos frente a los costes computacionales 📑.
Historial de versiones
Akamai Inference Cloud gana tracción inicial con casos de uso como inteligencia de video en vivo (Monks) y probadores virtuales impulsados por IA para compras móviles. La plataforma permite experiencias de probadores controladas por el usuario con procesamiento local de fotos/videos, demostrando el potencial de la IA en el borde para aplicaciones personalizadas en tiempo real. Akamai informa de un aumento en la demanda tras el debut en la conferencia NVIDIA GTC.
Lanzamiento de Akamai Inference Cloud en asociación con NVIDIA, redefiniendo el despliegue de IA desde los centros de datos principales hasta el borde. Aprovecha la infraestructura NVIDIA Blackwell para inferencia escalable, segura y de baja latencia a nivel global. Admite cargas de trabajo de IA agentica y física, permitiendo la toma de decisiones en tiempo real y experiencias personalizadas. Casos de uso iniciales incluyen inteligencia de video en vivo (ej. Monks para feeds multicámara) y probadores virtuales impulsados por IA para compras móviles.
Lanzamiento oficial de Akamai Cloud Inference, una plataforma para construir y ejecutar aplicaciones de IA y cargas de trabajo intensivas en datos en el borde. Ofrece un rendimiento 3 veces mejor y hasta 2.5 veces menor latencia en comparación con los hiperescaladores tradicionales. Ahorros de hasta el 86% en cargas de trabajo de inferencia. Admite modelos predictivos y LLM, con opciones de cómputo versátiles (CPU, GPU, ASIC VPU) e integración con VAST Data para acceso a datos en tiempo real.
Técnicas de compresión de modelos mejoradas para reducir el uso del ancho de banda. Observabilidad mejorada con métricas de rendimiento detalladas. Soporte para modelos WebAssembly.
Introducción de inferencia multi-modelo. Soporte para modelos de IA generativa (texto a imagen). Ampliación del soporte para plataformas de computación perimetral.
Soporte para modelos TensorFlow Lite. Capacidades mejoradas de control de versiones y reversión de modelos. API mejorado para la gestión de modelos.
Se agregó soporte para modelos de análisis de video. Se redujo la latencia en un 15% mediante el almacenamiento en caché optimizado en el borde. Integración con Akamai Identity Cloud.
Introducción de escalado dinámico. Soporte para contenedores de modelos personalizados. Funciones de seguridad mejoradas con cifrado de datos mejorado.
Se agregó soporte para modelos PyTorch. Capacidades de monitoreo y registro mejoradas.
Lanzamiento de disponibilidad general. Cobertura geográfica ampliada. Herramientas de implementación de modelos mejoradas.
Lanzamiento Beta inicial. Soporte para modelos de clasificación de imágenes y detección de objetos. Disponibilidad geográfica limitada.
Ventajas y desventajas de la herramienta
Ventajas
- Baja latencia
- Escalabilidad
- Rendimiento global
- Integración sencilla
- Mejor UX
Desventajas
- Dependencia del proveedor
- Costo elevado
