El blog de NVIDIA detalla las técnicas de atención dispersa para reducir los costos de computación y memoria en modelos de transformadores de largo contexto en GPU.
NVIDIA ha publicado un artículo técnico titulado “Diseño conjunto de técnicas de atención dispersa para inferencias de largo contexto eficientes”, en el que se describen los avances en este campo. El artículo aborda los crecientes desafíos computacionales que plantean los trabajos de largo contexto, como el procesamiento de tareas complejas, documentos extensos y grandes bases de código, lo que puede aumentar la longitud del contexto a cientos de miles de elementos. A estas escalas, el uso de la atención densa (donde cada consulta analiza todos los elementos relevantes) resulta extremadamente costoso en términos de recursos computacionales y memoria.
Atención dispersa: una solución a nivel de modelo**
La atención dispersa se presenta como una técnica de optimización que limita cada consulta a analizar solo los \(k\) elementos más relevantes, reduciendo significativamente la carga computacional. Mientras que la parte central del modelo de atención se escala con el valor de \(k\), el componente que identifica estos elementos sigue procesando todos los \(N\) elementos del contexto.El blog de NVIDIA destaca que, en el modelo DeepSeek V3.2, el indexador y la selección de los Top-k representan el 47% del tiempo necesario para el proceso de llenado previo de datos (prefill layer) al procesar 128K tokens. El proceso de atención dispersa (sparse attention) se divide en tres etapas: el indexador puntuación todas las claves, la selección de Top-k identifica las \(k\) claves con las puntuaciones más altas, y la atención central (core attention) aplica una función softmax sobre estas claves y valores seleccionados. El análisis de NVIDIA se centra en la optimización del diseño del indexador para mejorar la eficiencia del GPU, utilizando un núcleo FP8 de producción para evaluar diversos parámetros como las cabezas de consulta (query heads), las cabezas de clave (key heads), la dimensión de las cabezas, la tasa de compresión y la profundidad de decodificación especulativa. El blog proporciona mediciones detalladas y pautas para el diseño del indexador, enfatizando las configuraciones que maximizan el rendimiento del GPU. La mayoría de los diseños utilizan entre 32 y 64 cabezas de consulta, las cuales se reducen a una única puntuación mediante funciones como ReLU y suma ponderada, con una dimensión de 128 para cada cabeza de consulta. Las tasas de compresión (compression ratios, CR) disminuyen el número de claves que reciben puntuación; en el análisis se utilizó un valor de CR = 4. La selección a nivel de bloques (por ejemplo, agrupar tokens en bloques de 4 o 16) mejora la eficiencia de la memoria, al permitir la recuperación y reutilización masiva de datos entre las consultas. El decodificación especulativa, que procesa múltiples tokens en cada paso, aumenta la intensidad aritmética durante las fases de decodificación. El indexador funciona mediante multiplicación matricial por lotes (batched matrix multiplication, matmul), aprovechando los núcleos Tensor de NVIDIA para la puntuación y los núcleos CUDA para el procesamiento posterior. La intensidad aritmética, que mide la eficiencia computacional, aumenta con el tamaño del grupo (G, es decir, el número de cabezas de consulta por cabeza de clave) y la longitud de los datos procesados de forma especulativa (D+1).Los diseños que omiten la reducción de la complejidad de los algoritmos, como el MiniMax Sparse Attention (MSA) y el MoBA, pierden eficiencia debido a una menor intensidad aritmética. El enfoque de co-diseño de NVIDIA integra consideraciones tanto algorítmicas como de hardware, asegurando que las técnicas de atención dispersa se adapten a la arquitectura de la GPU. El blog anima a los desarrolladores a explorar optimizaciones adicionales, como núcleos de procesamiento fusionados y indexación jerárquica, para mejorar el rendimiento en entornos de producción. Para más detalles técnicos, NVIDIA recomienda revisar su repositorio TensorRT LLM y la investigación relacionada sobre métodos de selección de elementos Top-k (como “Guess-Verify-Refine”). También se sugiere explorar otras empresas y compararlas entre sí.
Cuenta gratuita: construye tu colección de investigación y vuelve a leerla en cualquier momento.