Entrena, ajusta y entrega en una supercomputadora de IA
AI Hypercomputer es el sistema de supercomputación integrado que respalda cada carga de trabajo de IA en Google Cloud. Se compone de hardware, software y modelos de consumo diseñados para simplificar la implementación de IA, mejorar la eficiencia a nivel del sistema y optimizar los costos.
Descripción general
Hardware optimizado para IA
Elige entre opciones de procesamiento (incluidos aceleradores de IA), almacenamiento y redes optimizadas para objetivos detallados a nivel de la carga de trabajo, ya sea una capacidad de procesamiento mayor, una latencia más baja, un tiempo de obtención de resultados más rápido o un TCO más bajo. Obtén más información sobre los siguientes temas: Cloud TPU, GPU de nube, además de las novedades en almacenamiento y redes.
Software líder, frameworks abiertos
Aprovecha al máximo tu hardware con software líder en la industria, integrado con frameworks, bibliotecas y compiladores abiertos para que el desarrollo, la integración y la administración de la IA sean más eficientes.
- Compatibilidad con PyTorch, JAX, Keras, vLLM, Megatron-LM, NeMo Megatron, MaxText, MaxDiffusion y muchos más.
- La integración profunda con el compilador XLA permite la interoperabilidad entre diferentes aceleradores, mientras que Pathways on Cloud te permite usar el mismo entorno de ejecución distribuido que impulsa la infraestructura interna de entrenamiento y la inferencia a gran escala de Google.
- Todo esto se puede implementar en el entorno que elijas, ya sea Google Kubernetes Engine, Cluster Director o Google Compute Engine.
Modelos de consumo flexible
Las opciones de consumo flexible permiten a los clientes elegir costos fijos con descuentos por compromiso de uso o modelos dinámicos según demanda para satisfacer las necesidades empresariales. El programador dinámico de cargas de trabajo y las VMs Spot pueden ayudarte a obtener la capacidad que necesitas sin sobreasignar recursos. Además, las herramientas de optimización de costos de Google Cloud ayudan a automatizar el uso de recursos para reducir las tareas manuales de los ingenieros.
Cómo funciona
Usos comunes
Entrega modelos rentables a gran escala
Maximiza la relación precio-rendimiento y la confiabilidad para cargas de trabajo de inferencia
La inferencia se está volviendo más diversa y compleja rápidamente, y está evolucionando en tres áreas principales:
- En primer lugar, está cambiando la forma en que interactuamos con la IA. Las conversaciones ahora tienen un contexto mucho más largo y diverso.
- En segundo lugar, el razonamiento sofisticado y la inferencia de varios pasos están haciendo que los modelos de mezcla de expertos (MoE) sean más comunes. Esto redefine cómo se escalan la memoria y el procesamiento desde la entrada inicial hasta la salida final.
- Por último, queda claro que el valor real no se trata solo de tokens brutos por dólar, sino de la utilidad de la respuesta. ¿Tiene el modelo la experiencia adecuada? ¿Respondió correctamente una pregunta empresarial fundamental? Por eso, creemos que los clientes necesitan mejores mediciones, que se enfoquen en el costo total de las operaciones del sistema, no en el precio de sus procesadores.
Explora recursos de inferencia de IA
- ¿Qué es la inferencia de IA? Nuestra guía completa sobre tipos, comparaciones y casos de uso
- Ejecuta recetas de inferencia de prácticas recomendadas con GKE Inference Quickstart
- Toma un curso sobre inferencia de IA en Cloud Run
- Mira este video sobre el secreto de la inferencia de IA rentable
- Descubre cómo acelerar las cargas de trabajo de inferencia de IA
La IA convierte a los fans del deporte en diseñadores de camisetas
PUMA se asoció con Google Cloud para su infraestructura de IA integrada (AI Hypercomputer), lo que le permite usar Gemini para instrucciones del usuario junto con el programador dinámico de cargas de trabajo para escalar la inferencia de forma dinámica en GPU, lo que reduce drásticamente los costos y el tiempo de generación.
Impacto:
- Redujeron el tiempo de generación de camisetas con IA de entre 2 y 5 minutos a solo 30 segundos. Esto transformó la plataforma en una experiencia rápida y verdaderamente interactiva que mantuvo el interés de los usuarios.
- En solo 10 días, los fans crearon 180,000 camisetas y emitieron 1.7 millones de calificaciones.
- El proyecto demostró una nueva forma para que PUMA se conecte con su comunidad. La empresa fue más allá de una simple relación entre marca y consumidores, ya que logró convertir a los fans en cocreadores activos, lo que le proporcionó información directa y en tiempo real sobre los deseos creativos de sus consumidores más apasionados.
Instructivos
Maximiza la relación precio-rendimiento y la confiabilidad para cargas de trabajo de inferencia
La inferencia se está volviendo más diversa y compleja rápidamente, y está evolucionando en tres áreas principales:
- En primer lugar, está cambiando la forma en que interactuamos con la IA. Las conversaciones ahora tienen un contexto mucho más largo y diverso.
- En segundo lugar, el razonamiento sofisticado y la inferencia de varios pasos están haciendo que los modelos de mezcla de expertos (MoE) sean más comunes. Esto redefine cómo se escalan la memoria y el procesamiento desde la entrada inicial hasta la salida final.
- Por último, queda claro que el valor real no se trata solo de tokens brutos por dólar, sino de la utilidad de la respuesta. ¿Tiene el modelo la experiencia adecuada? ¿Respondió correctamente una pregunta empresarial fundamental? Por eso, creemos que los clientes necesitan mejores mediciones, que se enfoquen en el costo total de las operaciones del sistema, no en el precio de sus procesadores.
Recursos adicionales
Explora recursos de inferencia de IA
- ¿Qué es la inferencia de IA? Nuestra guía completa sobre tipos, comparaciones y casos de uso
- Ejecuta recetas de inferencia de prácticas recomendadas con GKE Inference Quickstart
- Toma un curso sobre inferencia de IA en Cloud Run
- Mira este video sobre el secreto de la inferencia de IA rentable
- Descubre cómo acelerar las cargas de trabajo de inferencia de IA
Ejemplos de clientes
La IA convierte a los fans del deporte en diseñadores de camisetas
PUMA se asoció con Google Cloud para su infraestructura de IA integrada (AI Hypercomputer), lo que le permite usar Gemini para instrucciones del usuario junto con el programador dinámico de cargas de trabajo para escalar la inferencia de forma dinámica en GPU, lo que reduce drásticamente los costos y el tiempo de generación.
Impacto:
- Redujeron el tiempo de generación de camisetas con IA de entre 2 y 5 minutos a solo 30 segundos. Esto transformó la plataforma en una experiencia rápida y verdaderamente interactiva que mantuvo el interés de los usuarios.
- En solo 10 días, los fans crearon 180,000 camisetas y emitieron 1.7 millones de calificaciones.
- El proyecto demostró una nueva forma para que PUMA se conecte con su comunidad. La empresa fue más allá de una simple relación entre marca y consumidores, ya que logró convertir a los fans en cocreadores activos, lo que le proporcionó información directa y en tiempo real sobre los deseos creativos de sus consumidores más apasionados.
Ejecuta entrenamiento y entrenamiento previo de IA a gran escala
Entrenamiento de IA potente, escalable y eficiente
Las cargas de trabajo de entrenamiento deben ejecutarse como trabajos altamente sincronizados en miles de nodos en clústeres estrechamente acoplados. Un solo nodo degradado puede interrumpir un trabajo completo y retrasar el tiempo de salida al mercado. Realice lo siguiente:
- Asegúrate de que el clúster se configure rápidamente y se ajuste a la carga de trabajo en cuestión.
- Predice fallas y soluciona problemas rápidamente.
- Y continúa con una carga de trabajo, incluso cuando se producen fallas.
Queremos que sea extremadamente fácil para los clientes implementar y escalar cargas de trabajo de entrenamiento en Google Cloud.
Entrenamiento de IA potente, escalable y eficiente
Para crear un clúster de IA, comienza con uno de nuestros instructivos:
- Crea un clúster de Slurm con GPUs (VMs A4) y Cluster Toolkit
- Crea un clúster de GKE con Cluster Director para GKE o Cluster Toolkit
Moloco creó una plataforma de publicación de anuncios para procesar miles de millones de solicitudes diarias
Moloco se basó en la pila completamente integrada de AI Hypercomputer para escalar automáticamente en hardware avanzado como TPU y GPU, lo que liberó a los ingenieros de Moloco, mientras que la integración con la plataforma de datos líder en la industria de Google creó un sistema cohesivo de extremo a extremo para cargas de trabajo de IA.
Después de lanzar sus primeros modelos de aprendizaje profundo, Moloco experimentó un crecimiento y una rentabilidad exponenciales, ya que se multiplicaron por 5 en 2.5 años, y logró un
- entrenamiento de modelos 10 veces más rápido con Cloud TPU en GKE, además de una reducción del 400% en los costos de entrenamiento
- Escaló para atender a más de 1,000 usuarios internos, lo que les dio acceso a un sistema de aprendizaje automático a escala planetaria que los ayuda a encontrar un crecimiento rentable a partir de sus propios datos.
AssemblyAI
AssemblyAI usa Google Cloud para entrenar modelos con rapidez y a gran escala
LG AI Research redujo drásticamente los costos y aceleró el desarrollo, a la vez que cumplió con estrictos requisitos de seguridad y residencia de los datos
Anthropic anunció planes para acceder a hasta 1 millón de TPU para entrenar y entregar modelos de Claude, lo que equivale a decenas de miles de millones de dólares. Pero ¿cómo se ejecutan en Google Cloud? Mira este video para ver cómo Anthropic está superando los límites de procesamiento de la IA a gran escala con GKE.
Instructivos
Entrenamiento de IA potente, escalable y eficiente
Las cargas de trabajo de entrenamiento deben ejecutarse como trabajos altamente sincronizados en miles de nodos en clústeres estrechamente acoplados. Un solo nodo degradado puede interrumpir un trabajo completo y retrasar el tiempo de salida al mercado. Realice lo siguiente:
- Asegúrate de que el clúster se configure rápidamente y se ajuste a la carga de trabajo en cuestión.
- Predice fallas y soluciona problemas rápidamente.
- Y continúa con una carga de trabajo, incluso cuando se producen fallas.
Queremos que sea extremadamente fácil para los clientes implementar y escalar cargas de trabajo de entrenamiento en Google Cloud.
Recursos adicionales
Entrenamiento de IA potente, escalable y eficiente
Para crear un clúster de IA, comienza con uno de nuestros instructivos:
- Crea un clúster de Slurm con GPUs (VMs A4) y Cluster Toolkit
- Crea un clúster de GKE con Cluster Director para GKE o Cluster Toolkit
Ejemplos de clientes
Moloco creó una plataforma de publicación de anuncios para procesar miles de millones de solicitudes diarias
Moloco se basó en la pila completamente integrada de AI Hypercomputer para escalar automáticamente en hardware avanzado como TPU y GPU, lo que liberó a los ingenieros de Moloco, mientras que la integración con la plataforma de datos líder en la industria de Google creó un sistema cohesivo de extremo a extremo para cargas de trabajo de IA.
Después de lanzar sus primeros modelos de aprendizaje profundo, Moloco experimentó un crecimiento y una rentabilidad exponenciales, ya que se multiplicaron por 5 en 2.5 años, y logró un
- entrenamiento de modelos 10 veces más rápido con Cloud TPU en GKE, además de una reducción del 400% en los costos de entrenamiento
- Escaló para atender a más de 1,000 usuarios internos, lo que les dio acceso a un sistema de aprendizaje automático a escala planetaria que los ayuda a encontrar un crecimiento rentable a partir de sus propios datos.
AssemblyAI
AssemblyAI usa Google Cloud para entrenar modelos con rapidez y a gran escala
LG AI Research redujo drásticamente los costos y aceleró el desarrollo, a la vez que cumplió con estrictos requisitos de seguridad y residencia de los datos
Anthropic anunció planes para acceder a hasta 1 millón de TPU para entrenar y entregar modelos de Claude, lo que equivale a decenas de miles de millones de dólares. Pero ¿cómo se ejecutan en Google Cloud? Mira este video para ver cómo Anthropic está superando los límites de procesamiento de la IA a gran escala con GKE.
Implementa y organiza aplicaciones de IA
Aprovecha el software de organización de IA líder y los frameworks abiertos para ofrecer experiencias potenciadas por IA
Google Cloud proporciona imágenes que contienen sistemas operativos, frameworks, bibliotecas y controladores comunes. AI Hypercomputer optimiza estas imágenes preconfiguradas para admitir tus cargas de trabajo de IA.
- Frameworks y bibliotecas de IA y AA: Usa imágenes de Docker de Deep Learning Software Layer (DLSL) para ejecutar modelos de AA, como NeMO y MaxText, en un clúster de Google Kubernetes Engine (GKE).
- Implementación de clústeres y organización de IA: Puedes implementar tus cargas de trabajo de IA en clústeres de GKE, clústeres de Slurm o instancias de Compute Engine. Para obtener más información, consulta Descripción general de la creación de VMs y clústeres.
Explora recursos de software
- Pathways on Cloud es un sistema diseñado para permitir la creación de sistemas de aprendizaje automático a gran escala, de múltiples tareas y activados de forma dispersa.
- Optimiza la productividad del AA; para ello, aprovecha nuestras recetas de Goodput
- Programa cargas de trabajo de GKE con la programación consciente de la topología
- Prueba una de nuestras recetas de comparativas para ejecutar modelos de DeepSeek, Mixtral, Llama y GPT en GPU
- Elige una opción de consumo para obtener y usar recursos de procesamiento de manera más eficiente
Priceline: Ayuda a los viajeros a seleccionar experiencias únicas
“Trabajar con Google Cloud para incorporar la IA generativa nos permite crear un asistente de viajes personalizado dentro de nuestro chatbot. Queremos ayudar a nuestros clientes no solo a planificar un viaje, sino también a crear una experiencia de viaje única para ellos”. Martin Brodbeck, director de Tecnología, Priceline
Lightricks
Lightricks está escalando herramientas de creación de contenido de vanguardia con Google Cloud
Quillbot
QuillBot reduce el tiempo de escritura de más de 10 millones de usuarios con Google Cloud
Creación de una supercomputadora de IA para potenciar a un ingeniero de software de IA automatizado
Instructivos
Aprovecha el software de organización de IA líder y los frameworks abiertos para ofrecer experiencias potenciadas por IA
Google Cloud proporciona imágenes que contienen sistemas operativos, frameworks, bibliotecas y controladores comunes. AI Hypercomputer optimiza estas imágenes preconfiguradas para admitir tus cargas de trabajo de IA.
- Frameworks y bibliotecas de IA y AA: Usa imágenes de Docker de Deep Learning Software Layer (DLSL) para ejecutar modelos de AA, como NeMO y MaxText, en un clúster de Google Kubernetes Engine (GKE).
- Implementación de clústeres y organización de IA: Puedes implementar tus cargas de trabajo de IA en clústeres de GKE, clústeres de Slurm o instancias de Compute Engine. Para obtener más información, consulta Descripción general de la creación de VMs y clústeres.
Recursos adicionales
Explora recursos de software
- Pathways on Cloud es un sistema diseñado para permitir la creación de sistemas de aprendizaje automático a gran escala, de múltiples tareas y activados de forma dispersa.
- Optimiza la productividad del AA; para ello, aprovecha nuestras recetas de Goodput
- Programa cargas de trabajo de GKE con la programación consciente de la topología
- Prueba una de nuestras recetas de comparativas para ejecutar modelos de DeepSeek, Mixtral, Llama y GPT en GPU
- Elige una opción de consumo para obtener y usar recursos de procesamiento de manera más eficiente
Ejemplos de clientes
Priceline: Ayuda a los viajeros a seleccionar experiencias únicas
“Trabajar con Google Cloud para incorporar la IA generativa nos permite crear un asistente de viajes personalizado dentro de nuestro chatbot. Queremos ayudar a nuestros clientes no solo a planificar un viaje, sino también a crear una experiencia de viaje única para ellos”. Martin Brodbeck, director de Tecnología, Priceline
Lightricks
Lightricks está escalando herramientas de creación de contenido de vanguardia con Google Cloud
Quillbot
QuillBot reduce el tiempo de escritura de más de 10 millones de usuarios con Google Cloud
Creación de una supercomputadora de IA para potenciar a un ingeniero de software de IA automatizado
Preguntas frecuentes
¿Cómo se compara AI Hypercomputer con el uso de servicios individuales en la nube?
Si bien los servicios individuales ofrecen capacidades específicas, AI Hypercomputer proporciona un sistema integrado en el que el hardware, el software y los modelos de consumo están diseñados para funcionar de manera óptima en conjunto. Esta integración ofrece eficiencias a nivel del sistema en rendimiento, costo y tiempo de salida al mercado que son más difíciles de lograr uniendo servicios dispares. Simplifica la complejidad y proporciona un enfoque integral de la infraestructura de IA.
¿Se puede usar AI Hypercomputer en un entorno de nube híbrida o de múltiples nubes?
Sí, AI Hypercomputer se diseñó pensando en la flexibilidad. Las tecnologías como Cross-Cloud Interconnect proporcionan conectividad de alto ancho de banda a centros de datos locales y otras nubes, lo que facilita las estrategias de IA híbrida y de múltiples nubes. Operamos con estándares abiertos y, además, integramos software popular de terceros para que puedas crear soluciones que abarquen varios entornos y cambiar los servicios cuando quieras.
¿Cómo aborda AI Hypercomputer la seguridad de las cargas de trabajo de IA?
La seguridad es un aspecto fundamental de AI Hypercomputer. Se beneficia del modelo de seguridad de varias capas de Google Cloud. Las funciones específicas incluyen microcontroladores de seguridad Titan (que garantizan que los sistemas se inicien desde un estado de confianza), firewall RDMA (para redes de confianza cero entre TPU y GPU durante el entrenamiento) y la integración con soluciones como Model Armor para la seguridad de la IA. Estos se complementan con políticas y principios sólidos de seguridad de la infraestructura, como el Secure AI Framework.
¿Cuál es la forma más sencilla de usar AI Hypercomputer como infraestructura?
- Si no quieres administrar VMs, te recomendamos comenzar con Google Kubernetes Engine (GKE).
- Si necesitas usar varios programadores o no puedes usar GKE, te recomendamos usar Cluster Director
- Si quieres tener un control completo sobre tu infraestructura, la única forma de lograrlo es trabajar directamente con VMs, y para eso, Compute Engine es tu mejor opción.
¿Es solo útil para cargas de trabajo grandes o de gran escala?
No. AI Hypercomputer se puede usar para cargas de trabajo de cualquier tamaño. Las cargas de trabajo de menor tamaño aún aprovechan todos los beneficios de un sistema integrado, como la eficiencia y la implementación simplificada. AI Hypercomputer también ayuda a los clientes a medida que sus empresas crecen, desde pequeñas pruebas de concepto y experimentos hasta implementaciones de producción a gran escala.
¿Es AI Hypercomputer la forma más fácil de comenzar a usar cargas de trabajo de IA en Google Cloud?
Para la mayoría de los clientes, una plataforma de IA administrada como Vertex AI es la forma más fácil de comenzar a usar la IA, ya que tiene todas las herramientas, plantillas y modelos integrados. Además, Vertex AI está impulsado por AI Hypercomputer de forma interna, de una manera optimizada en tu nombre. Vertex AI es la forma más fácil de comenzar porque ofrece la experiencia más sencilla. Si prefieres configurar y optimizar cada componente de tu infraestructura, puedes acceder a los componentes de AI Hypercomputer como infraestructura y ensamblarlos de una manera que satisfaga tus necesidades.
Dado que AI Hypercomputer es un sistema componible, hay muchas opciones. ¿Tienes prácticas recomendadas para cada caso de uso?
Sí, estamos creando una biblioteca de recetas en GitHub. También puedes usar Cluster Toolkit para obtener planos de clústeres prediseñados.
¿Cuáles son las opciones disponibles cuando uso AI Hypercomputer como IaaS?
Hardware optimizado para IA
Almacenamiento
- Entrenamiento: Managed Lustre es ideal para el entrenamiento de IA exigente con alta capacidad de procesamiento y capacidad a escala de PB. GCS Fuse (opcionalmente con Anywhere Cache) se adapta a necesidades de mayor capacidad con latencia más relajada. Ambos se integran en GKE y Cluster Director.
- Inferencia: GCS Fuse con Anywhere Cache ofrece una solución sencilla. Para obtener un mayor rendimiento, considera Hyperdisk ML. Si se usa Managed Lustre para el entrenamiento en la misma zona, también se puede usar para la inferencia.
Redes
- Entrenamiento: Aprovecha tecnologías como las redes RDMA en VPC y Cloud Interconnect y Cross-Cloud Interconnect de alto ancho de banda para una transferencia de datos rápida.
- Inferencia: Utiliza soluciones como la puerta de enlace de inferencia de GKE y Cloud Load Balancing mejorado para la entrega con baja latencia. Model Armor puede integrarse para la seguridad de la IA.
Procesamiento: Accede a las TPU de Google Cloud (Trillium), las GPU de NVIDIA (Blackwell) y las CPU (Axion). Esto permite la optimización en función de las necesidades específicas de la carga de trabajo para la capacidad de procesamiento, la latencia o el TCO.
Software y frameworks abiertos líderes
- Frameworks y bibliotecas de AA: PyTorch, JAX, TensorFlow, Keras, vLLM, JetStream, MaxText, LangChain, Hugging Face, NVIDIA (CUDA, NeMo, Triton) y muchas más opciones de código abierto y de terceros.
- Compiladores, tiempos de ejecución y herramientas: XLA (para rendimiento e interoperabilidad), Pathways on Cloud, entrenamiento de Multislice, Cluster Toolkit (para planos de clústeres prediseñados) y muchas más opciones de código abierto y de terceros.
- Organización: Google Kubernetes Engine (GKE), Cluster Director (para Slurm, Kubernetes no administrado, programadores BYO) y Google Compute Engine (GCE).
Modelos de consumo:
- A pedido: Pago por uso.
- Descuentos por compromiso de uso (CUD): Ahorra significativamente (hasta un 70%) con compromisos a largo plazo.
- VMs Spot: Son ideales para trabajos por lotes tolerantes a errores y ofrecen grandes descuentos (hasta un 91%).
- Programador dinámico de cargas de trabajo (DWS): Ahorra hasta un 50% en trabajos por lotes o tolerantes a errores.
