Google dice que ha visto agentes gubernamentales chinos, rusos, iraníes y norcoreanos que usan su IA Géminis para fines nefastos, con Teherán con mucho el usuario travieso más frecuente de los cuatro.
El gigante web ha estado rastreando el uso de Gemini por parte de estas naciones, utilizando no solo cosas simples, presumiblemente, como direcciones IP para detectarlas, sino una combinación de señales técnicas y patrones de comportamiento, nos dicen.
Y si bien estos Snoops respaldados por el estado han logrado usar Gemini para traducir y adaptar los señuelos de phishing para víctimas específicas, buscar información sobre objetivos de vigilancia y escribir algunos scripts de software, admitió Google, el Biz afirma que sus barandillas al menos detuvieron su IA de su IA. generador de malware.
En general, el Goliat de Internet estadounidense reconoce que Irán et al No están haciendo nada demasiado escandaloso, y principalmente piden a la LLM información y orientación como fue diseñado. En otras palabras, los gobiernos extranjeros están usando Google AI para cosas malas, pero es no tan malO eso nos dicen.
«Si bien la IA puede ser una herramienta útil para los actores de amenaza, aún no es el Gamechanger que a veces se representa», dijo Google en un grupo de inteligencia de amenazas (TIG) informe (PDF) esta semana. «Si bien vemos a los actores de amenaza que usan IA generativa para realizar tareas comunes como la resolución de problemas, la investigación y la generación de contenido, no vemos indicaciones de ellos desarrollando capacidades novedosas».
Si bien la IA puede ser una herramienta útil para los actores de amenaza, aún no es el gamechanger que a veces se describe
Los espías iraníes representaron el 75 por ciento de todos los usos de Géminis observados por los agentes del Cuarteto antes mencionados, señala el informe TIG. El equipo de Google identificó a más de 10 cibernamentos respaldados por Irán utilizando el servicio de IA, con algunos particularmente enfocados en investigar la seguridad relacionada con Android. En términos más generales, estos grupos usaron Gemini para el reconocimiento, investigando vulnerabilidades, identificando proveedores de alojamiento gratuitos y elaboración de personajes locales y contenido para operaciones cibernéticas. En particular, la unidad APT42 de Irán aprovechó a Gemini para crear contenido de phishing, representando el 30 por ciento de todos los actores de APT iraníes, o actores de amenazas avanzadas, en la plataforma.
Los espías chinos también lo han estado utilizando para la creación de contenido e investigación básica, con 20 grupos del reino medio identificados hasta ahora. Gran parte de esta actividad se centra en investigar las instituciones gubernamentales de los Estados Unidos, mientras que los Snoops respaldados por Beijing también han buscado asistencia con los sistemas y los trabajos de traducción relacionados con Microsoft, según el informe.
Google también dice que ha visto a los agentes norcoreanos utilizando su LLM para escribir solicitudes de empleo para los trabajadores de TI como parte de la nación ermitaño esfuerzos continuos para insertar a sus trabajadores en empresas occidentales. Nueve grupos distintos de Norks también trataron de encontrar foros independientes sobre discordia e información relacionada con la tecnología militar y nuclear de Corea del Sur, a través de Gemini.
Los rusos son usuarios relativamente ligeros de Géminis, al parecer, con solo tres grupos observados por el equipo. Google especula que esto podría deberse a ellos utilizando LLM generados por el país o intentando limitar la exposición para evitar ser monitoreados. O tal vez son realmente buenos para ocultar su uso de la LLM.
Alrededor del 40 por ciento de la actividad rusa provino de operadores vinculados a «entidades patrocinadas por el estado rusas anteriormente controladas por el fallecido oligarca ruso Yevgeny Prigozhin», dijo el gigante de la nube. Presumiblemente esto significa el grupo Wagner y sus ramas. Google señala que un operativo ruso usó Gemini para generar y manipular contenido, incluida la reescritura de artículos con una inclinación pro-Kremlin para su uso en campañas de influencia. Este es exactamente el tipo de prigozhin de travesuras Agencia de investigación de Internet solía hacer.
Cuando se trata de romper las barandillas de Géminis y explotar el motor para escribir código malicioso o para toser información personal, Google afirma que el LLM está bloqueando con éxito tales intentos. Ha notado un aumento en la gente que intenta usar las indicaciones de jailbreak conocidas públicamente y luego adaptarlas ligeramente en un intento de moverse por los filtros, pero estos parecen ineficaces.
El gigante de anuncios informó que un caso involucró una solicitud para incrustar el texto codificado en un ejecutable y un intento separado de generar el código de Python para un ataque de denegación de servicio. Mientras Gemini procesó una solicitud de conversión Base64 a HEX, rechazó nuevas consultas maliciosas.
Google también ha detectado intentos de usar Gemini para investigar métodos para abusar de sus otros servicios. El Biz afirma que sus sistemas de seguridad bloquearon estos esfuerzos y que está trabajando en mejoras adicionales en estas defensas. Además de esto, su ala profunda también se menciona en que el laboratorio aparentemente está presentando formas de proteger los servicios de IA de los ataques y las consultas prohibidas.
«Google Deepmind también desarrolla modelos de amenazas para la IA generativa para identificar vulnerabilidades potenciales, y crea nuevas técnicas de evaluación y capacitación para abordar el mal uso causado por ellos», agregó el informe.
«En conjunto con esta investigación, DeepMind ha compartido cómo están implementando activamente defensas dentro de los sistemas de IA junto con las herramientas de medición y monitoreo, uno de los cuales es un marco de evaluación robusto utilizado para rojar automáticamente la vulnerabilidad de un sistema de IA a ataques inyectados indirectos. » ®
