Noticias** **
** El “Embodied First Exam” presenta un nuevo marco de evaluación de la robótica **** El “Embodied First Exam” ofrece un nuevo estándar para evaluar la capacidad de los agentes de programación para controlar robots, con un total de 1.156 tareas distribuidas en 35 conjuntos de pruebas y 47 robots. **** **
** **** **** En este artículo…** **
** **** **
** **** **
** **** El “Embodied First Exam” consta de 1.156 tareas distribuidas en 35 conjuntos de pruebas y 47 robots; nueve de estos conjuntos fueron desarrollados específicamente para este marco. Estos incluyen tareas tradicionales de recogida y colocación, así como desafíos de manipulación precisa, interacción entre múltiples robots, control dinámico de todo el cuerpo y pruebas de ingeniería entre sistemas simulados.Las suites notables incluyen:
- RoboPaint: Prueba el buen control de herramientas, como la reproducción de imágenes con pincel o pluma.
- RoboARC: Se centra en la manipulación de objetos deformables y de varias partes, incluyendo tareas como enhebrar cuerdas y ensamblar muebles.
- DexHandExam: Evalúa la destreza manual, como pasar páginas de libros y abrir contenedores.
- Embodied Olympics: Incluye robots humanoides que realizan tareas inspiradas en deportes y enfrentamientos competitivos contra oponentes.
Cada tarea se puede ejecutar en tres configuraciones de evaluación: Estándar, En tiempo real y Privilegiada. La configuración Estándar imita las condiciones del mundo real, proporcionando solo observaciones de los sensores y limitando los reinicios del entorno. La variante En tiempo real mantiene el entorno en funcionamiento continuamente, mientras que la configuración Privilegiada concede acceso completo al simulador y reinicios ilimitados, permitiendo a los agentes explorar soluciones óptimas para fines de entrenamiento.
Disponibilidad de rendimiento y código abierto:
En las pruebas, el agente más fuerte de los ocho, GPT-6 Astra (de Codex), alcanzó una tasa de éxito del 34% en 456 tareas en la configuración Estándar, lo que destaca un gran margen de mejora. El framework también incluye herramientas para analizar los puntos de fallo en los agentes, las configuraciones y las fases de las tareas.
El Embodied First Exam es de código abierto y está disponible en GitHub en la dirección: https://github.com/mll-lab-nu/embodied-first-exam. Requiere Python 3.12 o posterior y soporta tareas aceleradas por GPU a través del NVIDIA Container Toolkit.El marco puede instalarse utilizando el gestor de paquetes Harbor, y se proporcionan instrucciones detalladas en el repositorio.
Este punto de referencia representa un paso importante hacia el avance de la robótica agente, ofreciendo una plataforma unificada para evaluar a los agentes de programación antes de su implementación en aplicaciones robóticas del mundo real.
- robótica
- IA
- agentes de programación
- evaluación
- código abierto
