**Inicio** Últimos informes **Noticias**

NVIDIA presenta un sistema de inferencia basado en Python para el Deep Learning Accelerator (DLA) en la plataforma Jetson AGX Orin, utilizando la API cuDLA. **Descripción del artículo:** NVIDIA ha introducido un flujo de trabajo basado en Python para ejecutar las operaciones de inferencia del Deep Learning Accelerator (DLA) en su plataforma Jetson AGX Orin, aprovechando la API cuDLA. Este avance tiene como objetivo mejorar la eficiencia energética y liberar capacidad de la GPU para tareas adicionales en aplicaciones de inteligencia artificial en el perímetro (edge AI), donde los recursos de cómputo y energía suelen ser limitados. **Detalles de la integración:**

En este artículo se explica cómo NVIDIA ha integrado la API cuDLA con Python para facilitar el desarrollo de aplicaciones de inteligencia artificial en el perímetro. **Funciones de la integración:**

La API cuDLA gestiona la ejecución de las operaciones del DLA en el hardware, permitiendo que las aplicaciones transfieran ciertas tareas de las redes neuronales al procesador central (CPU) en lugar de a la GPU. El módulo `cuda.bindings.cudla`, parte del proyecto CUDA Python, proporciona una interfaz directa en Python para la API cuDLA en C++. Esto permite a los desarrolladores gestionar todo el proceso de inferencia en Python, eliminando la necesidad de utilizar código en C++. **Características del módulo `cuda.bindings.cudla:**
El módulo `cuda.bindings.cudla`, introducido en la versión 13.3.0 de CUDA, soporta flujos de trabajo en modo híbrido. En este modo, los componentes de CUDA coordinan las operaciones de inferencia del DLA con las tareas de preprocesamiento y postprocesamiento realizadas en la GPU, garantizando un rendimiento eficiente. **Conclusión:** Esta integración de Python y cuDLA representa un avance significativo para el desarrollo de aplicaciones de inteligencia artificial en entornos con recursos limitados.La API expone 13 funciones, 9 tipos de datos y 8 enumeraciones, lo que facilita una integración sin problemas con los flujos de trabajo CUDA existentes.

Flujo de trabajo de inferencia en Jetson AGX Orin

El ciclo de vida de la inferencia en Jetson AGX Orin incluye varios pasos:

  • Iniciar CUDA y crear un dispositivo DLA en modo híbrido.
  • Cargar un archivo compilado del tipo DLA, que codifica una red neuronal entrenada en un formato ejecutable por el hardware DLA.
  • Asignar buffers de memoria de la GPU, registrarlos en cuDLA y enviar tareas a través de un flujo de trabajo CUDA (CUDA stream).
  • Sincronizar la ejecución y recuperar los resultados de la inferencia.

Para compilar un archivo del tipo DLA, los desarrolladores utilizan la herramienta trtexec de TensorRT. Los parámetros clave como --useDLACore=0 y --buildDLAStandalone se utilizan para configurar el funcionamiento del motor DLA; el resultado es un archivo ejecutable independiente del entorno TensorRT. Este archivo puede ejecutarse directamente en el hardware DLA sin necesidad de TensorRT en tiempo de ejecución.

Compatibilidad y instalación

Los componentes de cuDLA para Python son compatibles con NVIDIA Jetson AGX Orin que ejecuta JetPack 7.2.2 o versiones posteriores. La biblioteca necesaria para la ejecución, libcudla.so, se incluye en la instalación de JetPack. Los desarrolladores pueden instalar estos componentes utilizando el siguiente comando:

pip install "cuda-bindings>=13.3.0"

Se requiere Python 3.10 o una versión posterior para utilizar estos componentes.Si la versión predeterminada de Python en Jetson Orin es más antigua, los desarrolladores pueden instalar Python 3.12 a través del PPA de deadsnakes. Aunque esta versión se centra en Jetson AGX Orin, la API cuDLA también es compatible con NVIDIA RTX Spark, lo que permite llevar las capacidades de inferencia DLA a las laptops de desarrolladores de IA basadas en Windows. La API se mantiene consistente en todas las plataformas, lo que permite a los desarrolladores aplicar los mismos flujos de trabajo tanto en entornos embebidos como de escritorio. Este avance subraya el compromiso de NVIDIA por proporcionar herramientas flexibles y eficientes para la inferencia de IA, adaptadas a una amplia gama de aplicaciones, desde la robótica hasta el cómputo de edge y más allá. Explora las empresas y compara a sus competidores. NVIDIA (NVDA) Comparación de acciones de IA Comparación de acciones de semiconductores Comparación de acciones de tecnología de gran capitalización Inicia sesión para guardar este artículo.``` Cuenta gratuita: construya su colección de investigación y vuelva a leerla en cualquier momento.