Entrevista Ahora que los delincuentes se han dado cuenta de que no es necesario entrenar a sus propios LLM para fines nefastos (es mucho más barato y más fácil robar credenciales y luego hacer jailbreak a las existentes), la amenaza de un ataque a la cadena de suministro a gran escala utilizando IA generativa se vuelve más real.
No, no estamos hablando de un ataque totalmente generado por IA desde el acceso inicial hasta el cierre de las operaciones comerciales. Tecnológicamente, los criminales aún no han llegado. Pero una cosa en la que los LLM se están volviendo muy buenos es en ayudar en campañas de ingeniería social.
Y es por eso que Crystal Morin, ex analista de inteligencia de la Fuerza Aérea de EE. UU. y estratega de ciberseguridad de Sysdig, anticipa que en 2025 veremos ataques muy exitosos a la cadena de suministro que se originaron con un phishing lanzado por un LLM.
Cuando se trata de utilizar LLM, «los actores de amenazas están aprendiendo, entendiendo y adquiriendo la situación del terreno de la misma manera que nosotros», dijo Morin. El Registro. «Estamos en una carrera a pie en este momento. Es máquina contra máquina».
Sysdig, junto con otros investigadores, documentó en 2024 un aumento en el número de delincuentes que utilizan credenciales de nube robadas para acceder a los LLM. En mayo, la empresa de seguridad de contenedores documentó a los atacantes. apuntando al modelo Claude LLM de Anthropic.
Si bien podrían haber aprovechado este acceso para extraer datos de capacitación de LLM, su objetivo principal en este tipo de ataque parecía ser vender el acceso a otros delincuentes. Esto dejó al propietario de la cuenta en la nube pagando la factura, al elevado precio de 46.000 dólares por día relacionado con los costos de consumo de LLM.
Profundizando más, los investigadores descubrieron que el guión más amplio utilizado en el ataque podría verificar las credenciales de 10 servicios de IA diferentes: AI21 Labs, Anthropic, AWS Bedrock, Azure, ElevenLabs, MakerSuite, Mistral, OpenAI, OpenRouter y GCP Vertex AI.
Estamos en una carrera a pie ahora mismo. Es máquina contra máquina
Más adelante en el año, Sysdig detectó atacantes que intentaban utilizar credenciales robadas para habilitar LLM.
El equipo de investigación de amenazas llama a cualquier intento de obtener acceso ilegalmente a un modelo «LLMjacking», y en septiembre informó que este tipo de ataques estaban «en aumento, con un Aumento de 10 veces en las solicitudes de LLM durante el mes de julio y el doble de direcciones IP únicas que participaron en estos ataques durante la primera mitad de 2024″.
Según Sysdig, esto no solo les cuesta a las víctimas una cantidad significativa de dinero, sino que también puede costar más de $100,000 por día cuando la organización de la víctima usa modelos más nuevos como Claude 3 Opus.
Además, las víctimas se ven obligadas a pagar por personas y tecnología para detener estos ataques. También existe el riesgo de que los LLM empresariales se utilicen como armas, lo que generará mayores costos potenciales.
2025: ¿El año del phishing LLM?
En 2025, «la mayor preocupación será el phishing y la ingeniería social», dijo Morin. «Hay infinitas maneras de obtener acceso a un LLM, y pueden usar esta GenAI para crear mensajes únicos y personalizados para las personas a las que se dirigen en función de quién es su empleador, sus preferencias de compras, el banco que utiliza, la región. donde vives, restaurantes y cosas así en el área».
Además de ayudar a los atacantes a superar las barreras del idioma, esto puede hacer que los mensajes enviados por correo electrónico o aplicaciones de mensajería de redes sociales parezcan aún más convincentes porque están diseñados expresamente para las víctimas individuales.
«Te enviarán un mensaje desde este restaurante que está justo al final de la calle, o que es popular en tu ciudad, con la esperanza de que hagas clic en él», agregó Morin. «Eso permitirá en gran medida su éxito. Así es como se producen muchas infracciones exitosas. Es sólo el acceso inicial de persona a persona».
Señaló el ataque de ransomware Change Healthcare (para el cual, debemos dejar muy claro, no hay evidencia que sugiera que haya sido asistido por un LLM) como un ejemplo de una de las infracciones enormemente dañinas de 2024.
En este caso, un equipo de ransomware encerrado Cambiar los sistemas de atención médica, perturbar miles de farmacias y hospitales en todo Estados Unidos y acceder a datos privados pertenecientes a alrededor de 100 millones de personas. Fue necesario que el gigante de los pagos sanitarios nueve meses restablecer sus servicios de cámara de compensación después del ataque.
Será una porción muy pequeña y simple de la cadena de ataque con un impacto potencialmente masivo.
«Volviendo al phishing: imaginemos a un empleado de Change Healthcare recibiendo un correo electrónico y haciendo clic en un enlace», dijo Morin. «Ahora el atacante tiene acceso a sus credenciales, o acceso a ese entorno, y puede entrar y moverse lateralmente».
Cuando veamos este tipo de asistencia de GenAI, «será una porción muy pequeña y simple de la cadena de ataque con un impacto potencialmente masivo», añadió.
Si bien las nuevas empresas y las empresas existentes están lanzando herramientas de seguridad y que también utilizan inteligencia artificial para detectar y prevenir phishing por correo electrónico, existen algunos pasos realmente simples que todos pueden seguir para evitar caer en cualquier tipo de intento de phishing. «Solo tenga cuidado al hacer clic», aconsejó Morin.
Piensa antes de hacer clic
Además: preste mucha atención al remitente del correo electrónico. «No importa qué tan bueno sea el cuerpo del correo electrónico. ¿Miraste la dirección de correo electrónico y hay una cadena loca de caracteres o una dirección extraña como nombre@gmail pero dice que proviene de Verizon? Eso no importa. tiene sentido», añadió.
Los LLM también pueden ayudar a los delincuentes a crear un dominio con diferentes caracteres alfanuméricos basados en nombres de empresas legítimas y conocidas, y pueden utilizar varias indicaciones para hacer que el remitente parezca más creíble.
Morin cree que incluso el phishing de llamadas de voz probablemente será más difícil de distinguir debido a la IA utilizada para la clonación de voz.
«Recibo como cinco llamadas no deseadas al día de todo el país y simplemente las ignoro porque mi teléfono me dice que es spam», señaló.
«Pero ahora también utilizan la clonación de voz», continuó Morin. «Y la mayoría de las veces, cuando la gente contesta tu teléfono, especialmente si estás conduciendo o algo así, no estás escuchando activamente o realizando múltiples tareas, y es posible que no te des cuenta de que se trata de un clon de voz, especialmente si suena «Como alguien que te resulta familiar, o lo que dice es creíble, y realmente suena como si fuera de tu banco».
Vimos un avance de esto durante el período previo a las elecciones presidenciales estadounidenses de 2024, cuando Llamadas automáticas generadas por IA haciéndose pasar por el presidente Biden, instó a los votantes a no participar en las elecciones primarias presidenciales del estado.
Desde entonces, la FTC emitió una Recompensa de $25,000 para solicitar ideas sobre las mejores formas de combatir la clonación de voz de IA y la FCC declarado Las llamadas automáticas generadas por IA son ilegales.
Morin no espera que esto sea un elemento disuasivo para los delincuentes.
«Si hay voluntad, hay una manera», opinó. «Si cuesta dinero, entonces encontrarán una manera de conseguirlo gratis». ®