INTELIGENCIA ARTIFICIAL

El desafío de piratería de IA generativa DEF CON explora vulnerabilidades de seguridad de vanguardia

Los datos del desafío hombre-máquina pueden proporcionar un marco para las políticas gubernamentales y empresariales en torno a la IA generativa.

Imagen generada por inteligencia artificial de un hacker frente a una computadora portátil.Imagen: Estudio fotográfico AVC/Adobe Stock

OpenAI, Google, Meta y más probaron sus grandes modelos de lenguaje en la conferencia de hackers DEF CON en Las Vegas durante el fin de semana del 12 de agosto. El resultado es un nuevo depósito de información compartida con la Oficina de Política Científica y Tecnológica de la Casa Blanca y el Caucus de Inteligencia Artificial del Congreso. El Generative Red Team Challenge, organizado por AI Village, SeedAI y Humane Intelligence, demostró más claramente que nunca cómo se puede hacer un mal uso de la IA generativa y qué se podría necesitar para protegerla.

Salta a:

Generar desafíos para el equipo rojo podría afectar la política de seguridad de la IA

El Generative Red Team Challenge pide a los piratas informáticos que obliguen a una IA generativa a hacer algo que no debe hacer: proporcionar información personal o peligrosa. Los desafíos van desde encontrar información de tarjetas de crédito hasta aprender a rastrear a alguien. El equipo de AI Village todavía está analizando los datos de la campaña, que se espera que se anuncie el próximo mes.

El desafío, el más grande de su tipo, permitirá a muchos estudiantes llegar al fondo del hacking de vanguardia. También podría tener implicaciones directas para la Oficina de Política Científica y Tecnológica de la Casa Blanca, cuyo director, Arati Prabhakar, está trabajando en una orden ejecutiva basada en el resultado de la campaña.

Los organizadores esperan que participen más de 3.000 personas, y cada una tendrá 50 minutos para intentar descifrar un gran modelo de lenguaje seleccionado al azar entre opciones preestablecidas. Los grandes modelos de lenguaje probados fueron creados por Anthropic, Cohere, Google, Hugging Face, Meta, NVIDIA, OpenAI y Stability. Scale AI desarrolló un sistema de puntuación.

LEER  Cómo la economía está afectando a los equipos de ciberseguridad

«Los diversos problemas con estos modelos sólo se resolverán si más personas saben cómo realizar evaluaciones del equipo rojo y evaluarlos», dijo en un comunicado el fundador de AI Village, Sven Cattell. «Recompensas por errores, piratería en tiempo real y otros estándares de seguridad de la comunidad El compromiso se puede modificar para sistemas basados ​​en modelos de aprendizaje automático».

Ver: En Black Hat 2023, un ex experto en ciberseguridad de la Casa Blanca y otros sopesan los pros y los contras de la IA para la seguridad. (República tecnológica)

Rumman Chowdhury, cofundador de la firma de consultoría y políticas de IA Humane Intelligence y uno de los organizadores de AI Village, dijo que el equipo de AI Village utilizará los resultados del desafío del próximo mes para presentarlos a las Naciones Unidas. eje.

La demostración será parte de una tendencia continua de colaboración entre la industria y el gobierno en materia de seguridad de la IA, como el proyecto DARPA AI Cyber ​​​​Challenge anunciado durante la conferencia Black Hat 2023. Invita a los participantes a crear herramientas basadas en IA para abordar los problemas de seguridad de la IA.

¿Cuáles son las posibles vulnerabilidades de LLM?

Antes de DEF CON, el consultor de AI Village, Gavin Klondike, anticipa siete vulnerabilidades que alguien que intente crear un agujero de seguridad a través de LL.M. podría encontrar:

  • Inyecte a tiempo.
  • Modifique los parámetros de LLM.
  • Ingrese información confidencial que termine en sitios web de terceros.
  • El LL.M. no puede filtrar información confidencial.
  • El resultado resultó en una ejecución de código inesperada.
  • La salida del lado del servidor alimenta directamente el LL.M.
  • El LL.M. carece de salvaguardias para la información confidencial.

«Lo que es único acerca de LL.M. es que debemos tratar no sólo las aportaciones de los usuarios como confiables, sino también los resultados de LL.M. como confiables», señaló en una publicación de blog. Las empresas pueden utilizar esta lista de vulnerabilidades para monitorear posibles problemas.

Además, «existe cierto debate sobre lo que se considera una laguna jurídica y lo que se considera característico de la forma en que opera el LL.M.», dijo Klondike.

Más cobertura de IA de lectura obligada

Si los investigadores de seguridad estuvieran evaluando un tipo diferente de sistema, esas características podrían parecer errores, dijo. Por ejemplo, un punto final externo podría ser un vector de ataque desde cualquier dirección: un usuario podría ingresar un comando malicioso o un LLM podría devolver un código que se ejecutó de manera insegura. Las conversaciones deben almacenarse para que la IA pueda consultar entradas anteriores, lo que podría comprometer la privacidad del usuario.

Klondike señaló que las alucinaciones o mentiras de la IA no cuentan como vulnerabilidades. Aunque las alucinaciones de la IA son en realidad incorrectas, no son peligrosas para el sistema.

Cómo prevenir las vulnerabilidades de LLM

Si bien el LLM aún se está explorando, las organizaciones de investigación y los reguladores se están moviendo rápidamente para crear pautas de seguridad en torno a él.

Daniel Rohrer, vicepresidente de seguridad de software de NVIDIA, señaló en el sitio DEF CON que cuando los hackers en la reunión hablaron sobre LLM, parecía que cada marca tenía una personalidad distinta. Dejando a un lado el antropomorfismo, el modelo que elige una organización sí importa, dijo a Tecnopedia en una entrevista.

«Es extremadamente importante elegir el modelo adecuado para la tarea adecuada», afirmó. ChatGPT, por ejemplo, puede mostrar algunos de los contenidos más cuestionables que se encuentran en Internet; sin embargo, si está trabajando en un proyecto de ciencia de datos que implica analizar contenido sospechoso, un sistema LLM que pueda buscarlo podría ser una herramienta valiosa. .

Es posible que las empresas quieran un sistema más personalizado que utilice sólo información relevante. «Hay que diseñar para lo que se quiere lograr con el sistema y la aplicación», dijo Roller.

Otros consejos comunes sobre cómo proteger el sistema LLM utilizado por las empresas incluyen:

  • Restringir el acceso de LL.M. a datos confidenciales.
  • Educar a los usuarios sobre qué datos recopila el LLM y dónde se almacenan, incluso si se utilizan para capacitación.
  • Trate al LLM como un usuario con sus propios controles de autenticación/autorización para acceder a información patentada.
  • Utilice el software disponible para mantener la IA concentrada en su tarea, como NeMo Guardrails de NVIDIA o Colang, el lenguaje utilizado para crear NeMo Guardrails.

Por último, no te saltes lo básico, dice Basil. «Para muchos de los que están implementando sistemas LLM, existen muchas prácticas de seguridad que existen hoy en la nube y la seguridad basada en la nube que se pueden aplicar inmediatamente a LLM y, en algunos casos, se están omitiendo en la carrera por la implementación de LLM. «Omita estos pasos. Todos sabemos cómo trabajar en la nube. Tome estas precauciones básicas para aislar su sistema LLM y recorrerá un largo camino para superar muchos desafíos comunes».

LEER  Microsoft Xiaobing compite ferozmente con Google Duplex como asistente de oficina de IA

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Botón volver arriba