Cómo la inteligencia artificial está cambiando las amenazas cibernéticas

Imagen: Nico El Niño/Adobe Stock

HackerOne, una plataforma de seguridad y foro para la comunidad de hackers, organizó una mesa redonda el jueves 27 de julio para discutir cómo la inteligencia artificial generativa cambiará las prácticas de ciberseguridad. Los piratas informáticos y los expertos de la industria debaten el papel de la IA generativa en todos los aspectos de la ciberseguridad, incluidas las nuevas superficies de ataque y lo que las organizaciones deben tener en cuenta cuando se trata de grandes modelos de lenguaje.

Salta a:

La IA generativa puede ser riesgosa si las organizaciones la adoptan demasiado rápido

Joseph «rez0» Thacker, hacker profesional e ingeniero senior de seguridad ofensiva en la firma de seguridad de software como servicio AppOmni, dijo que las organizaciones que utilizan IA generativa como ChatGPT para escribir código deben tener cuidado de no crear vulnerabilidades apresuradamente. .

Por ejemplo, ChatGPT no tiene contexto para comprender cómo podrían aparecer las vulnerabilidades en el código que genera. Las organizaciones deben esperar que ChatGPT sepa cómo generar consultas SQL que no sean vulnerables a los ataques de inyección SQL, dijo Thacker. La capacidad de un atacante para acceder a cuentas de usuario o datos almacenados en diferentes partes de una organización a menudo conduce a vulnerabilidades que los evaluadores de penetración suelen buscar y que ChatGPT puede no haber tenido en cuenta en su código.

Para las empresas que pueden apresurarse a utilizar productos de IA generativa, los dos riesgos principales son:

• Permitir que LLM esté expuesto de cualquier manera a usuarios externos que tengan acceso a datos internos.
• El uso de capacidades de inteligencia artificial para conectar diferentes herramientas y complementos puede dar acceso a datos que no son de confianza, incluso si son internos.

Cómo los actores de amenazas están explotando la IA generativa

«Tenemos que recordar que sistemas como los modelos GPT no crean cosas nuevas, lo que hacen es reutilizar lo que ya existe… aquello en lo que se ha entrenado», dijo Klondike. «Lo que creo que veremos es que las personas con menos habilidades técnicas podrán acceder a sus propios modelos GPT que pueden enseñarles sobre código o ayudarlos a crear ransomware que ya existe».

inyección oportuna

Cualquier acto de navegar por Internet (como puede hacer un LL.M.) puede crear este tipo de problemas.

Una posible vía de ciberataques contra chatbots basados ​​en LLM es la inyección instantánea; utiliza una función de aviso programada para invocar al LLM para que realice ciertas acciones.

Por ejemplo, dijo Thacker, si un atacante usa la inyección de sugerencias para controlar el contexto de una llamada a una función LLM, puede exfiltrar datos llamando a una función del navegador web y moviendo los datos exfiltrados al lado del atacante. Alternativamente, el atacante podría enviar por correo electrónico la carga útil de inyección inmediata al LLM responsable de leer y responder el correo electrónico.

VER: Cómo la IA generativa está cambiando el juego de la seguridad en la nube (Tecnopedia)

El hacker ético Roni “Lupin” Carta señala que los desarrolladores que utilizan ChatGPT para ayudar a instalar paquetes de sugerencias en sus computadoras pueden tener problemas para pedirle a las IA generativas que encuentren bibliotecas. ChatGPT genera nombres de bibliotecas que los actores de amenazas pueden explotar mediante ingeniería inversa de bibliotecas falsas.

Los atacantes también pueden insertar texto malicioso en las imágenes. Luego, cuando una imagen como Bard interpreta la imagen escaneada por la IA, el texto se desplegará como una señal e indicará a la IA que realice ciertas funciones. Básicamente, un atacante puede realizar una inyección instantánea a través de una imagen.

Debe leer el informe de seguridad

Deepfakes, cifradores personalizados y otras amenazas

Carta señaló que se han reducido las barreras para los atacantes que quieran utilizar ingeniería social o audio y vídeo deepfake, y estas técnicas también se pueden utilizar para la defensa.

«Esto es sorprendente para los ciberdelincuentes, pero también para los equipos rojos que utilizan la ingeniería social para realizar su trabajo», afirmó Kata.

Desde el punto de vista del desafío técnico, Klondike señaló que la forma en que está configurado el Máster en Derecho dificulta la eliminación de información de identificación personal de la base de datos. Dijo que los LL.M. internos aún podrían presentar datos a empleados o actores de amenazas o realizar funciones que se supone deben mantenerse en secreto. Esto no requiere una inyección de pistas complejas; puede implicar simplemente hacer las preguntas correctas.

«Vamos a ver productos completamente nuevos, pero también creo que el panorama de amenazas tendrá las mismas vulnerabilidades que hemos estado viendo, pero en mayores cantidades», dijo Thacker.

Gavin Klondike, consultor senior de ciberseguridad de AI Village, una comunidad de piratas informáticos y científicos de datos, dijo que es probable que los equipos de ciberseguridad vean más ataques de bajo nivel a medida que los actores de amenazas aficionados utilicen sistemas como el modelo GPT para lanzar ataques. Los ciberdelincuentes sofisticados podrán crear cifradores personalizados (software que disfraza el malware), así como malware con inteligencia artificial generativa, afirmó.

«Nada en el modelo GPT es nuevo»

Hubo cierto debate entre los panelistas sobre si la IA generativa plantea las mismas preguntas que otras herramientas o plantea otras nuevas.

«Creo que debemos recordar que ChatGPT ha sido entrenado en cosas como Stack Overflow», dice Katie Paxton-Fear, profesora de ciberseguridad e investigadora de seguridad en la Universidad Metropolitana de Manchester. «No hay nada nuevo en el modelo GPT. Puedes encontrarlo por Google.» toda esta información.

«Creo que debemos tener mucho cuidado de no criminalizar la educación real cuando hablamos de IA buena y mala».

Carta compara la IA generativa con un cuchillo; al igual que un cuchillo, la IA generativa puede convertirse en un arma o una herramienta para cortar carne.

«Se trata de lo que los humanos pueden hacer, no de lo que la IA puede hacer», dijo Katta.

VER: Como herramienta de ciberseguridad, ChatGPT se puede utilizar en ambos sentidos (Tecnopedia)

Thacker rechazó el símil y dijo que la IA generativa no se puede comparar con un cuchillo porque es la primera herramienta jamás creada por humanos que puede «… aprovechar su amplia experiencia en el dominio para crear ideas novedosas y completamente únicas».

O la IA podría terminar siendo una combinación de herramienta inteligente y consultor creativo. Klondike predice que, si bien los actores de amenazas de bajo nivel se beneficiarán más de la inteligencia artificial, lo que facilitará la escritura de código malicioso, serán los de nivel superior los que más se beneficiarán de la experiencia en ciberseguridad. Ya saben cómo estructurar código y escribir sus propios flujos de trabajo, y le pedirán ayuda a la IA con otras tareas.

Cómo las empresas pueden asegurar la inteligencia artificial generativa

El modelo de amenaza creado por Klondike y su equipo en AI Village recomienda que los proveedores de software traten a los LLM como usuarios y creen barreras de seguridad en torno a los datos a los que tienen acceso.

Trate a la IA como un usuario final

El modelado de amenazas es fundamental cuando se trabaja con un LL.M., dijo. También es importante detectar la ejecución remota de código, como un problema reciente en el que un atacante dirigido a la herramienta de desarrollo LangChain respaldada por LLM podría ingresar código directamente en el intérprete de código Python.

«Lo que tenemos que hacer es hacer cumplir la autorización entre el usuario final y el recurso backend al que intentan acceder», dijo Klondike.

No olvides lo básico

Algunos de los consejos suenan como cualquier otro para las empresas que quieren ir a lo seguro con un LL.M., dijeron los panelistas. El cofundador y director de servicios profesionales de HackerOne, Michiel Prins, señaló que cuando se trata de LLM, las organizaciones parecen olvidar la lección de seguridad estándar de «tratar la entrada del usuario como peligrosa».

«Prácticamente hemos olvidado las lecciones de ciberseguridad que hemos aprendido durante los últimos 30 años al desarrollar cierto software», dijo Klondike.

Paxton-Fear ve la relativa novedad de la IA generativa como una oportunidad para construir seguridad desde cero.

«Es una gran oportunidad para dar un paso atrás e incorporar algo de seguridad a medida que evoluciona, en lugar de renunciar a la seguridad dentro de 10 años».