Microsoft Azure anunció su nueva máquina virtual ND H100 v5 que incluye los procesadores escalables Sapphire Rapids Xeon de Intel con las GPU Hopper H100 de NVIDIA, así como la interconexión Quantum-2 CX7 de NVIDIA. Dentro de cada máquina física se encuentran ocho H100, presumiblemente la variante SXM5 que incluye 132 SM y 528 núcleos tensor de cuarta generación, interconectados por NVLink 4.0 que los une a todos con un ancho de banda biseccional de 3,6 TB/s. Fuera de cada máquina local hay una red de miles de H100 más conectados con Quantum-2 CX7 InfiniBand de 400 GB/s, que, según Microsoft, permite 3,2 Tb/s por máquina virtual para escalar bajo demanda para acelerar las mayores cargas de trabajo de entrenamiento de IA.
Las soluciones de IA generativa como ChatGPT han acelerado la demanda de servicios en la nube de múltiples ExaOP que puedan manejar grandes conjuntos de capacitación y utilizar las últimas herramientas de desarrollo. Las nuevas máquinas virtuales ND H100 v5 de Azure ofrecen esa capacidad a organizaciones de cualquier tamaño, ya sea una startup más pequeña o una empresa más grande que busca implementar implementaciones de capacitación de IA a gran escala. Si bien Microsoft no afirma directamente el rendimiento, NVIDIA ha anunciado que H100 se ejecuta hasta 30 veces más rápido que la arquitectura Ampere anterior que se ofrece actualmente con las máquinas virtuales ND A100 v4. Microsoft Azure proporciona las siguientes especificaciones técnicas para las nuevas máquinas virtuales: 8 GPU NVIDIA H100 Tensor Core interconectadas a través de NVSwitch y NVLink 4.0 de próxima generación NVIDIA Quantum-2 CX7 InfiniBand de 400 Gb/s por GPU con 3,2 Tb/s por VM en una red fat-tree sin bloqueo NVSwitch y NVLink 4.0 con ancho de banda biseccional de 3,6 TB/s entre 8 GPU locales dentro de cada VM Procesadores escalables Intel Xeon de cuarta generación Interconexión de host PCIE Gen 5 a GPU con ancho de banda de 64 GB/s por GPU 16 canales de DIMM DDR5 de 4800 MHz A juzgar por lo que sabemos de NVIDIA Hopper, esto probablemente signifique que Microsoft está utilizando sus propios bastidores llenos de DGX H100, o utilizando el DGX SuperPOD de NVIDIA, que incluye DGX H100 de cinco alturas y hasta 16 de ancho para un total de 640 GPU con 337 920 tensores. núcleos No olvide que cada DGX H100 también contiene dos procesadores escalables Intel Xeon. Dado que Microsoft ya ha especificado que sus sistemas utilizan los últimos Sapphire Rapids Xeon de Intel, que pueden presentar hasta 60 núcleos cada uno, hay potencialmente 9600 núcleos x86 disponibles para ayudar a alimentar esas GPU masivas. Microsoft Azure ha abierto la vista previa del servicio de máquina virtual ND H100 v5 y puede registrarse para solicitar acceso aquí. Fuente: Microsoft Tags: Tecnología, Microsoft Azure, NVIDIA H100
