Microsoft y otros prohíben el uso de sus sistemas de inteligencia artificial generativa para crear diversos contenidos. El contenido prohibido incluye materiales que presentan o promueven la explotación o el abuso sexual, son eróticos o pornográficos, o atacan, denigran o excluyen a personas por motivos de raza, etnia, origen nacional, género, identidad de género, orientación sexual, religión, edad, estado de discapacidad o rasgos similares. Tampoco permite la creación de contenido que contenga amenazas, intimidación, promoción de daño físico u otro comportamiento abusivo.
Además de prohibir expresamente dicho uso de su plataforma, Microsoft también ha desarrollado barreras de seguridad que inspeccionan tanto las indicaciones ingresadas por los usuarios como el resultado resultante en busca de señales de que el contenido solicitado viola cualquiera de estos términos. Estas restricciones basadas en códigos se han eludido repetidamente en los últimos años mediante hackeos, algunos benigno y realizado por investigadores y otros por actores de amenazas maliciosos.
Microsoft no describió con precisión cómo supuestamente se diseñó el software de los demandados para sortear las barreras de seguridad que la empresa había creado.
Masada escribió:
Los servicios de IA de Microsoft implementan sólidas medidas de seguridad, incluidas mitigaciones de seguridad integradas en los niveles de modelo, plataforma y aplicación de IA. Como se alega en nuestros documentos judiciales revelados hoy, Microsoft ha observado que un grupo de actores de amenazas con sede en el extranjero desarrolló software sofisticado que explotó las credenciales de clientes expuestas extraídas de sitios web públicos. Al hacerlo, buscaron identificar y acceder ilegalmente a cuentas con ciertos servicios de IA generativa y alterar intencionalmente las capacidades de esos servicios. Luego, los ciberdelincuentes utilizaron estos servicios y revendieron el acceso a otros actores maliciosos con instrucciones detalladas sobre cómo utilizar estas herramientas personalizadas para generar contenido dañino e ilícito. Tras el descubrimiento, Microsoft revocó el acceso de los ciberdelincuentes, implementó contramedidas y mejoró sus salvaguardas para bloquear aún más dicha actividad maliciosa en el futuro.
La demanda alega que el servicio de los demandados violó la Ley de Abuso y Fraude Informático, la Ley de Derechos de Autor del Milenio Digital, la Ley Lanham y la Ley de Organizaciones Corruptas e Influenciadas por Racketeers y constituye fraude electrónico, fraude de dispositivos de acceso, infracción del derecho consuetudinario e interferencia ilícita. La demanda busca una orden judicial que prohíba a los demandados participar en «cualquier actividad aquí».
