NVIDIA lanza su nueva GPU H100 Tensor Core con arquitectura Hopper para ofrecer hasta 30 veces más velocidad y eficiencia que las GPUs de generación anterior.

Flytech es Elite Partner y puede ofrecer soluciones personalizadas para alcanzar el mayor potencial que nos brindan las nuevas GPUs Hopper. Además, como Partners de Supermicro desde hace más de 25 años, desde Flytech somos los primeros en España en poder ofrecer los mejores Servidores GPU NVIDIA H100 personalizados que se adapten a cualquier proyecto y empresa.

Características de las GPUs NVIDIA H100 Hopper

Entrenamiento IA

Las GPU NVIDIA H100 cuentan con Tensor Cores de cuarta generación y Transformer Engine con precisión FP8 que proporciona un entrenamiento hasta 9 veces más rápido que la generación anterior para modelos de mezcla de expertos (MoE).

La combinación de NVlink de cuarta generación, que ofrece 900 gigabytes por segundo (GB/s) de interconexión de GPU a GPU; NVLINK Switch System, que acelera la comunicación de cada GPU entre nodos; PCIe Gen5; y el software NVIDIA Magnum IO proporciona una escalabilidad eficiente desde pequeñas empresas hasta clústeres de GPU unificados y masivos.

La implementación de GPU H100 a escala del centro de datos ofrece un rendimiento excepcional y pone la próxima generación de computación de alto rendimiento (HPC) a exaescala y IA de billones de parámetros al alcance de todos los investigadores.

Entrenamiento IA hasta 9 veces superior en los modelos más grandes

MoE (395 Billones de parámetros)

Rendimiento sujeto a cambios. Training Mixture of Experts (MoE) Variante de Transformer Switch-XXL con parámetros 395B en un conjunto de datos de token de 1T | Clúster A100: red HDR IB | Clúster H100: Sistema de conmutación NVLINK, NDR IB

Inferencia de Deep Learning a tiempo real

Hasta 30 veces más rendimiento de inferencia de IA en los modelos más grandes

Inferencia de Megratron Chatbot (530 Billones de parámetros)

Rendimiento sujeto a cambios. Inferencia en el Chatbot del modelo de parámetros Megatron 530B para longitud de secuencia de entrada = 128, longitud de secuencia de salida = 20 | Clúster A100: red HDR IB | Clúster H100: red NDR IB para 16 configuraciones H100 | 32 A100 vs 16 H100 por 1 y 1.5 seg | 16 A100 frente a 8 H100 durante 2 segundos.

La Inteligencia Artificial resuelve una amplia gama de desafíos empresariales mediante el uso de una gama igualmente amplia de redes neuronales. Un gran acelerador de inferencia de IA no solo debe ofrecer el mayor rendimiento, sino también la versatilidad para acelerar estas redes.

Las GPUs H100 Hopper amplían aún más el liderazgo de inferencia líder en el mercado de NVIDIA con varios avances que aceleran la inferencia hasta 30 veces y ofrecen la latencia más baja.

Los Tensor Cores de cuarta generación aceleran todas las precisiones, incluidas FP64, TF32, FP32, FP16 e INT8, y Transformer Engine utiliza FP8 y FP16 juntos para reducir el uso de la memoria y aumentar el rendimiento, al mismo tiempo que mantiene la precisión para los modelos de lenguajes grandes.

Informática de alto rendimiento a exaescala

La plataforma del centro de datos de NVIDIA ofrece ganancias de rendimiento constantes más allá de la Ley de Moore. Y las nuevas capacidades innovadoras de IA de H100 amplifican aún más el poder de HPC+AI para acelerar el tiempo de descubrimiento para los científicos e investigadores que trabajan para resolver los desafíos más importantes del mundo.

H100 triplica las operaciones de coma flotante por segundo (FLOPS) de los Tensor Cores de doble precisión, lo que ofrece 60 teraFLOPS de computación FP64 para HPC. Las aplicaciones de HPC fusionadas con IA pueden aprovechar la precisión TF32 de H100 para lograr un petaFLOP de rendimiento para operaciones de multiplicación de matriz de precisión simple, sin cambios de código.

H100 también cuenta con instrucciones DPX que brindan un rendimiento 7 veces mayor que las GPU NVIDIA A100 Tensor Core y 40 veces más velocidades que los servidores tradicionales de solo CPU de doble socket en algoritmos de programación dinámica, como Smith-Waterman para la alineación de secuencias de ADN.

Hasta 7 veces más rendimiento para aplicaciones de HPC

Rendimiento sujeto a cambios. Rendimiento 3D FFT (4K^3) | Clúster A100: red HDR IB | Clúster H100: Sistema de conmutación NVLink, NDR IB | Secuenciación del genoma (Smith-Waterman) | 1 A100 | 1H100

Análisis de datos

El análisis de datos a menudo consume la mayor parte del tiempo en el desarrollo de aplicaciones de IA. Dado que los grandes conjuntos de datos se encuentran dispersos en varios servidores, las soluciones de escalamiento horizontal con servidores solo de CPU básicos se estancan debido a la falta de rendimiento informático escalable.

Los servidores acelerados con H100 brindan la potencia informática, junto con 3 terabytes por segundo (TB/s) de ancho de banda de memoria por GPU y escalabilidad con NVLink y NVSwitch, para abordar el análisis de datos con alto rendimiento y escala para admitir conjuntos de datos masivos.

En combinación con NVIDIA Quantum-2 Infiniband, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS, la plataforma del centro de datos NVIDIA tiene la capacidad única de acelerar estas enormes cargas de trabajo con niveles incomparables de rendimiento y eficiencia.

Listo para empresas

Los administradores de IT buscan maximizar la utilización (tanto máxima como promedio) de los recursos informáticos en el centro de datos. A menudo emplean la reconfiguración dinámica de la computación para adaptar los recursos al tamaño adecuado para las cargas de trabajo en uso.

La GPU de instancias múltiples (MIG) de segunda generación en H100 maximiza la utilización de cada GPU al dividirla de manera segura en hasta siete instancias separadas. Con soporte informático confidencial, H100 permite un uso seguro de extremo a extremo y de múltiples inquilinos, ideal para entornos de proveedores de servicios en la nube (CSP).

La GPUS NVIDIA H100 con MIG permite a los administradores de IT estandarizar su infraestructura acelerada por GPU mientras tienen la flexibilidad de aprovisionar recursos de GPU con mayor granularidad para proporcionar de manera segura a los desarrolladores la cantidad adecuada de cómputo acelerado y optimizar el uso de todos sus recursos de GPU.

Análisis de datos

El análisis de datos a menudo consume la mayor parte del tiempo en el desarrollo de aplicaciones de IA. Dado que los grandes conjuntos de datos se encuentran dispersos en varios servidores, las soluciones de escalamiento horizontal con servidores solo de CPU básicos se estancan debido a la falta de rendimiento informático escalable.

Los servidores acelerados con H100 brindan la potencia informática, junto con 3 terabytes por segundo (TB/s) de ancho de banda de memoria por GPU y escalabilidad con NVLink y NVSwitch, para abordar el análisis de datos con alto rendimiento y escala para admitir conjuntos de datos masivos.

En combinación con NVIDIA Quantum-2 Infiniband, el software Magnum IO, Spark 3.0 acelerado por GPU y NVIDIA RAPIDS, la plataforma del centro de datos NVIDIA tiene la capacidad única de acelerar estas enormes cargas de trabajo con niveles incomparables de rendimiento y eficiencia.

Comparativa entre las NVIDIA GPU A100 y NVIDIA GPU H100

 

Características A100 NVLink A100 PCIe H100 SXM H100 PCIe
FP64 9,7 TF 9,7 TF 30 TF 24 TF
Tensor Core FP64 19,5 TF 19,5 TF 60 TF 48 TF
FP32 19,5 TF 19,5 TF 60 TF 48 TF
Tensor Core FP32 156 TF | 312 TF** 156 TF | 312 TF** 1000 TF* 800 TF*
Tensor Core BFLOAT16 312 TF | 624 TF** 312 TF | 624 TF** 2000 TF* 1600 TF*
Tensor Core FP16 312 TF | 624 TF** 312 TF | 624 TF** 2000 TF* 1600 TF*
Tensor Core FP8 4000 teraFLOPS* 3200 teraFLOPS*
Tensor Core INT8 624 TOPS | 1.248 TOPS** 624 TOPS | 1.248 TOPS** 4.000 TOPS* 3.200 TOPS*
Memoria GPU 40 GB | 80 GB 40 GB 80GB 80GB
Ancho de banda de memoria GPU 1.555 GB/s | 2.039 GB/s 1.555 GB/s 3TB/S 2TB/s
Decodificadores 7 NVDEC
7 JPEG
7 NVDEC
7 JPEG
Potencia máxima de diseño térmico (TDP)  400 W  250 W 700 W 350 W
GPU de múltiples instancias Varios tamaños de instancia con hasta 7 MIG a 10 GB Varios tamaños de instancia con hasta 7 MIG a 5 GB Hasta 7 MIGS de 10 GB cada uno
Formato ;4/8 SXM en NVIDIA HGX PCIe SXM PCIe
de doble ranura refrigerado por aire
Interconexión NVLink: 600 GB/s
PCIe 4.0: 64 GB/s
NVLink: 600 GB/s
PCIe 4.0: 64 GB/s
NVLink: 900 GB/s
PCIe 5.0: 128 GB/s
NVLINK: 600 GB/s
PCIe 5.0: 128 GB/s
Opciones del servidor NVIDIA HGX H100 Partner y NVIDIA-Certified Systems con 4 u 8 GPU NVIDIA DGX H100 con 8 GPU Sistemas certificados por NVIDIA y partners con 1 a 8 GPU

 

*Especificaciones preliminares. Puede estar sujeto a cambios.
**Con escasez

Servidores para las GPUs NVIDIA H100

Los sistemas Supermicro con las nuevas GPU H100 PCI-E y HGX H100, así como la GPU L40 recientemente anunciada, brindan conectividad PCI-E Gen5, NVLink de cuarta generación y NVLink Network para escalamiento horizontal, y las nuevas tarjetas CNX que potencian GPUDirect RDMA y almacenamiento con software NVIDIA Magnum IO y NVIDIA AI Enterprise.

Nueva Generación Servidor GPU Universal 8U

Diseñado para los modelos de Training IA y HPC, capacidad térmica superior con reducción de acústicos, más I/O y amplio almacenamiento.

  • 8 GPUs NVIDIA HGX H100 Hopper
  • Características de GPU: con 80 mil millones de transistores, el H100 es el chip más avanzado del mundo jamás construido y ofrece un rendimiento hasta 9 veces más rápido para el entrenamiento de IA
  • CPU: procesadores duales
  • Memoria: ECC DDR5 hasta 4800MT/s
  • Unidades: hasta 24 NVMe U.2 de intercambio en caliente

Nueva Generación Servidor GPU Universal 4U/5U

Optimizado para cargas de trabajo y casos de uso de AI Inference. Modular por diseño para máxima flexibilidad.

  • 4 GPUs NVIDIA HGX H100 Hopper
  • Características de GPU: H100 HGX puede acelerar la inferencia de IA hasta 30 veces más rendimiento que la generación anterior
  • CPU: procesadores duales
  • Memoria: ECC DDR5 hasta 4800MT/s
  • Unidades: hasta 8 NVMe U.2 de intercambio en caliente que se conectan a un conmutador PCI-E o 10 SATA/SAS de 2,5”

Nueva Generación Servidor 10 GPUs PCIe 5.0 4U

Diseño flexible para cargas de trabajo intensivas en gráficos e inteligencia artificial, admite hasta 10 GPU NVIDIA.

  • Hasta 10 GPUs PCIe de doble ancho por nodo
  • Características de GPU: las GPU NVIDIA L40 PCIe de este sistema son ideales para impulsar cargas de trabajo gráficas y de medios
  • CPU: procesadores duales
  • Memoria: ECC DDR5 hasta 4800MT/s
  • Unidades: 24 bahías de intercambio en caliente

Nueva Generación Workstation 4 GPUs 4U

Optimizado para la colaboración 3D Metaverso, científicos de datos y creadores de contenido. Disponible en factores de forma de estación de trabajo y de montaje en bastidor

  • 4 GPUs NVIDIA PCIe H100 Hopper
  • Funciones de GPU: las GPU NVIDIA H100 son el primer acelerador del mundo con capacidad informática confidencial, lo que aumenta la confianza en una colaboración segura
  • CPU: procesadores duales
  • Memoria: ECC DDR5 hasta 4800MT/s
  • Unidades: 8 bahías para unidades Hot-Swap de 3,5″, hasta 8 unidades NVMe, 2x M.2 (SATA o NVMe)