¿Cuál es la estrategia de hardware de IA de Microsoft en la competencia ChatGPT? Presentamos máquinas virtuales para la nueva IA

La inversión de Microsoft en ChatGPT incluye no solo el dinero que invirtió en OpenAI, sino también una gran inversión en hardware para centros de datos. Es por eso que las soluciones de IA actualmente se evalúan como propiedad exclusiva de algunas grandes empresas tecnológicas con un capital enorme.

La asociación entre Microsoft y OpenAI se remonta a 2019, cuando Microsoft invirtió mil millones de dólares en OpenAI. Luego apostó $ 10 mil millones adicionales en enero.

Hay algo que no debemos olvidar aquí. ChatGPT se ejecuta en hardware de Azure en los centros de datos de Microsoft. Según Bloomberg Si bien no se revelaron cantidades específicas, Microsoft ya ha gastado “cientos de millones de dólares” en el hardware utilizado para entrenar ChatGPT.

Recientemente, Microsoft vía blog Detallamos la infraestructura de IA para entregar ChatGPT en Bing. Como referencia, Microsoft presentó la última máquina virtual basada en hardware ‘ND H100 v5’ después de la máquina virtual de IA basada en GPU NVIDIA A100 ‘ND A100 v4’.

“Las nuevas máquinas virtuales contarán con GPU NVIDIA H100 Tensor Core interconectadas a través de NVSwitch y NVLink 4.0 de próxima generación), la red Quantum-2 CX7 InfiniBand de 400 Gb/s de NVIDIA, cuarta generación”, dijo Matt Vegas, gerente senior de productos, HPC+AI, Azure . Utiliza procesadores escalables Intel Xeon (‘Sapphire Rapids’), interconexión PCIe de 5.ª generación y memoria DDR5”. Vegas también señaló que Microsoft proporciona un rendimiento de supercomputación basado en su experiencia en la entrega de varias supercomputadoras ExaOP a clientes de Azure en todo el mundo.

también de otro blog Microsoft también habló sobre cómo funcionó con OpenAI para construir las supercomputadoras necesarias para el modelo de lenguaje a gran escala de ChatGPT (y Bing Chat de Microsoft). “Tuvimos que conectar miles de GPU de una manera nueva que ni siquiera Nvidia había pensado”, dijo Needy Chapelle, líder de producto para Azure High Performance Computing and AI en Microsoft.

“No se trata solo de comprar varias GPU y conectarlas. Se requieren varias optimizaciones a nivel del sistema durante varias generaciones para lograr un rendimiento óptimo”, agregó Chappel.

Según Chappel, para entrenar un modelo de lenguaje grande, la carga de trabajo se divide en miles de GPU en un clúster. Además, la red InfiniBand envía datos a alta velocidad porque en ciertas etapas del proceso, las GPU intercambian información sobre el trabajo que han realizado y la etapa de validación debe completarse antes de que la GPU pueda iniciar la siguiente etapa de procesamiento.

Según la empresa, la infraestructura de Azure está optimizada para entrenar modelos de lenguaje a escala, pero ha llevado años de mejoras incrementales en su plataforma de IA para llegar allí. La combinación de GPU, hardware de red y software de virtualización necesarios para ofrecer Bing AI es amplia y se distribuye en 60 regiones de Azure en todo el mundo.

Mientras tanto, las instancias ND H100 v5 están actualmente disponibles en versión preliminar. No se mencionó una fecha de lanzamiento oficial exacta.
[email protected]