Digamos que se trata de un juego, pero incluso los civiles se convierten en “objetivos de ataque”… Los dispositivos de seguridad de los experimentos de guerra con IA han sido vulnerados.

May 2, 2015 | Source: Blockmedia Korea

[Periodista de BlockMedia Yang Won-mo] Según se ha demostrado, los modelos más recientes de empresas líderes en inteligencia artificial (IA) como OpenAI y Anthropic han identificado a civiles, ambulancias y escuelas como objetivos militares en simulaciones de guerra. En particular, algunos modelos rechazaron inicialmente las solicitudes de ataque, pero proporcionaron la información de los objetivos después de que se les aclaró que se trataba de una “situación de juego virtual”. A medida que aumenta el uso militar de la IA, se plantean dudas sobre la efectividad de los sistemas de seguridad existentes.

Según TechCrunch y otras fuentes, el 18 de este mes (hora local), Vals, una empresa estadounidense de evaluación de IA, señaló en un informe de investigación publicado el día anterior que “los principales modelos de IA como OpenAI, Anthropic, Google y DeepSeek no contaban con sistemas de seguridad adecuados para evitar que identificaran objetivos militares en imágenes de drones y satélites”.

El porcentaje de identificación de objetivos aumentó del 6% al 92% con la explicación de que se trataba de una situación de juego.

Los investigadores crearon imágenes de un campo de batalla virtual en el este de Ucrania que incluían soldados, civiles, personal médico y ambulancias, y solicitaron a los modelos de IA que encontraran y marcaran los objetivos militares. La mayoría de los modelos proporcionaron la información requerida; algunos incluso clasificaron a civiles y soldados rendidos como objetivos de ataque.

La reacción de los modelos cambió significativamente al especificarse que se trataba de una situación de juego. Por ejemplo, el modelo GPT-6 de OpenAI marcó objetivos en el 6% de los casos normales, pero el porcentaje aumentó al 92% en situaciones de juego. El modelo GPT-6.1 también pasó del 17% al 90%. Estos porcentajes se refieren al total de objetivos identificados, no únicamente a civiles.

Un problema similar se observó en experimentos con imágenes reales de satélite. Los investigadores proporcionaron imágenes de una escuela primaria cercana a instalaciones militares en el área de Minab, Irán, y el modelo Anthropic’s Claude Ops 5.5 identificó la escuela como un objetivo militar en el 69% de los casos normales, mientras que este porcentaje subió al 72% en situaciones de juego.

Dicha escuela fue bombardeada por Estados Unidos el 28 de febrero, lo que causó la muerte de más de 150 civiles. Sin embargo, los investigadores aclararon que este experimento no tenía como objetivo determinar las causas de ese ataque ni analizar los sistemas de IA utilizados en él.

También se han registrado casos en los que la IA continuó identificando objetivos incluso después de haber detectado daños. En estos experimentos, se mostraron a los modelos imágenes de ataques virtuales seguidas de escenas de daños reales, para evaluar su respuesta.Algunos modelos reconocieron los daños repetidos y detuvieron su funcionamiento, pero volvieron a responder cuando se añadió la explicación de que se trataba de un juego.

Se han revelado vulnerabilidades en los sistemas de seguridad de la IA… hay preocupaciones por el posible abuso de las armas autónomas. Este estudio no analiza casos en los que la IA haya decidido ataques reales o activado armas. Los investigadores no solicitaron instrucciones de ataque directas, ni evaluaron el rendimiento en sistemas de armas reales ni el cumplimiento con el derecho internacional humanitario. Los investigadores advierten en su informe que la información sobre objetivos proporcionada por la IA podría ser utilizada en el futuro como datos de aprendizaje para armas autónomas. Explican que, aunque aún es difícil utilizar modelos de IA generales para el reconocimiento en tiempo real de objetivos de drones debido a limitaciones técnicas como retrasos en la respuesta y capacidad de cálculo, podrían ser mal utilizados en el análisis masivo de videos de campos de batalla existentes. Las empresas de IA también han tomado medidas: Antropic declaró que este caso viola claramente sus políticas de uso y que están desarrollando dispositivos de seguridad adicionales y ampliando las inspecciones correspondientes; OpenAI también indicó que prohíbe el uso de sus modelos para actos de violencia o fines de seguridad nacional no autorizados, y que está desarrollando medidas de protección para evitar el abuso de drones. El equipo de Vals advierte en su informe sobre el riesgo de abuso por parte de actores no estatales y recomienda la introducción de dispositivos de seguridad adicionales y entrenamiento adicional en los modelos existentes.
  • Civiles
  • Inteligencia Artificial
  • Guerra Autónoma
  • Guerra

Comentarios

Letter sobre datos BM “Más rápido que las noticias, más preciso que las emociones” Cada mañana a las 7, llegan los datos que analizan el mercado.
  • ✓ BTC · BM20 · Índices de miedo y codicia
  • ✓ Fondos ETF · Premium en kimchi
  • ✓ Análisis de altcoins CLM
Suscripción gratuita →

Artículos relacionados

AI 생성 이미지.
Etiquetas: sido vulnerados