El modelo NVIDIA GLM-5.3 ha sido desplegado en dos estaciones DGX utilizando vLLM. NVIDIA demuestra cómo servir el modelo GLM-5.3, con 753 mil millones de parámetros, en dos estaciones DGX mediante paralelismo de tensores y vLLM para una inferencia local eficiente.
**En este artículo**, NVIDIA ha presentado un método para servir localmente el enorme modelo GLM-5.3, un modelo de tipo “mezcla de expertos” (Mixture of Experts, MoE) cuantificado con 753 mil millones de parámetros, en dos estaciones DGX. Este enfoque aprovecha el paralelismo de tensores y vLLM para distribuir los pesos y los cálculos del modelo entre dos GPUs GB300, superando así las limitaciones de memoria de una sola máquina. Los modelos de escala fronteriza plantean desafíos significativos.El modelo GLM-5.3 requiere aproximadamente 464 GB de memoria en la GPU para almacenar sus pesos, lo que supera con creces los 252 GB de memoria HBM3e disponibles en una sola GPU GB300. A pesar de que la activación de los parámetros es esporádica (solo se activan 40 mil millones de parámetros por token), todos los pesos del modelo deben permanecer accesibles para el enrutamiento dinámico de los tokens hacia los diferentes “expertos” del modelo. Para afrontar estos desafíos, NVIDIA conectó dos estaciones DGX mediante tecnología ConnectX-8 RDMA, permitiendo el uso del paralelismo de tensores (TP=2) para distribuir los datos del modelo entre las dos GPUs. La estación A alberga el punto de conexión compatible con OpenAI, mientras que la estación B funciona como nodo de trabajo.Ambas estaciones procesan cada solicitud, siendo la Estación A la que devuelve el resultado final.
La implementación utiliza el marco vLLM, que soporta la predicción con múltiples tokens, el almacenamiento en caché FP8 KV y el almacenamiento de prefijos para optimizar el rendimiento bajo cargas concurrentes. Los benchmarks en el conjunto de datos SPEED-Bench Coding revelaron un rendimiento máximo de 607,8 tokens por segundo a un nivel de concurrencia de 16, disminuyendo a 385,0 tokens por segundo a un nivel de concurrencia de 32, con una latencia promedio de solicitud de 453,5 segundos.
Requisitos previos y configuración
La configuración requiere dos estaciones DGX de tipo GB300 que ejecuten Linux, conectadas y validadas utilizando la guía “Connect Two DGX Stations” de NVIDIA. Cada estación debe tener al menos 464 GB de espacio libre en el disco para los puntos de control del modelo, así como espacio adicional para la imagen del contenedor vLLM y los archivos temporales. La implementación también necesita Docker, el NVIDIA Container Toolkit, y acceso a datos de conjunto específicos y licencias.
Durante la configuración, los usuarios definen variables de entorno para los ajustes de red y hardware, asegurando una comunicación adecuada entre las estaciones. A continuación, se inicia el contenedor vLLM con el modelo GLM-5.3 distribuido entre las GPU, lo que permite una inferencia local eficiente.
Implicaciones para la infraestructura de IA
Esta demostración destaca la creciente necesidad de configuraciones de GPU distribuidas para manejar modelos de escala avanzada que superan la capacidad de las máquinas individuales. Al utilizar paralelismo de tensores y marcos avanzados como vLLM, las organizaciones pueden implementar modelos de IA a gran escala de forma local, sin depender de soluciones basadas en la nube.





