Noticias
MACaQ: Cuantización independiente del modelo para una inferencia más eficiente de redes neuronales**
MACaQ presenta un método de cuantización rápido e independiente del modelo para pesos y activaciones de baja precisión, que reduce los costos mientras mantiene la exactitud.
En este artículo**
Un nuevo trabajo titulado “MACaQ: Cuantización calibrada y rápida, independiente del modelo, para pesos y activaciones de baja precisión” ha sido publicado en arXiv por los investigadores Lorenz K. Muller, Philippe Bich, Chiara Boretti, Hyun-Min Chang y Jiawei Zhuang. El estudio presenta MACaQ, un método de cuantización posterior al entrenamiento diseñado para mejorar la eficiencia de la inferencia de redes neuronales al reducir los costos de memoria y computación, manteniendo al mismo tiempo la exactitud.
Características clave de MACaQ**
MACaQ es un método de cuantización posterior al entrenamiento (MXFP4 W4A4) que funciona de manera independiente en cada capa lineal de una red neuronal. Utiliza escalamas por canal y transformaciones Hadamard por bloques para procesar las activaciones en tiempo real, mientras que las transformaciones inversas se incorporan en los pesos. Este enfoque elimina las dependencias entre capas, lo que permite una implementación sencilla y continua, en la que solo una capa se almacena en la memoria a la vez.
Para mejorar la precisión de la cuantización, MACaQ incorpora el algoritmo Flip-Refinement, un procedimiento de descenso de coordenadas basado en el gradiente (Hessian) que ajusta los códigos FP4 a valores adyacentes y representables.A pesar de las transformaciones adicionales de activación durante la inferencia, MACaQ solo añade un 2,3% de overhead de punta a punta en comparación con el método MXFP4 puro en el modelo Qwen3-32B dentro del framework vLLM.
MACaQ demuestra una mejora significativa en el rendimiento en comparación con los métodos existentes: alcanza una menor complejidad (perplexity) que DuQuant++ y MR-GPTQ, y logra los mismos resultados en términos de complejidad que estos últimos en el modelo Llama-3-8B, pero en un tiempo de cuantización 11 veces menor.
Implementación de código abierto: La implementación de MACaQ está disponible en GitHub en la dirección https://github.com/huawei-csl/MACaQ. El repositorio soporta múltiples entornos de ejecución, como llama.cpp, vLLM, Diffusers y PyTorch, lo que permite a los usuarios cuantificar y ejecutar modelos en diferentes campos. También se proporciona MACaQ-R, que permite mejorar la calidad de los modelos GGUF existentes y adaptarlos a cargas de trabajo específicas, manteniendo al mismo tiempo la compatibilidad con llama.cpp. El diseño de MACaQ, que no depende del tipo de modelo ni requiere modificaciones específicas de la arquitectura, lo convierte en una herramienta versátil para optimizar la inferencia de redes neuronales. Su eficiencia a la hora de cuantizar modelos a gran escala con un mínimo de recursos lo convierte en una solución valiosa tanto para investigadores como para profesionales del ámbito de la IA y el aprendizaje automático.
- ai
- cuantización
- aprendizaje automático
- código abierto
- redes neuronales
