Nightshade es una “herramienta de envenenamiento de datos” desarrollada en la Universidad de Chicago para confundir a los programas de IA que generan imágenes.
Los artistas pueden desplegarla para intentar impedir que la IA utilice su obra sin permiso.
La IA generativa ocupa el segundo lugar entre las tecnologías emergentes más destacadas del mundo en el informe del Foro Económico Mundial Top 10 Emerging Technologies of 2023 informe.
La palabra “nightshade” evoca la planta altamente venenosa, la belladona. Pero ahora también es el nombre de una “herramienta de envenenamiento de datos” que ayuda a los artistas a defenderse del uso no autorizado de su obra por parte de la inteligencia artificial (IA).
Nightshade ha sido desarrollada por científicos informáticos de la Universidad de Chicago, quienes han publicado un artículo sobre su trabajo, Prompt-Specific Poisoning Attacks on Text-to-Image Generative Models.
¿Qué es Nightshade?
Nightshade permite a los artistas modificar píxeles de su obra de forma que resulten invisibles para el ojo humano. Esto induce a error a los programas de IA, que interpretan que la imagen muestra una cosa, mientras que los espectadores ven otra distinta.
“Los perros se convierten en gatos, los coches en vacas, etc.”, explica la MIT Technology Review en su artículo de avance sobre Nightshade.
¿Cómo está el Foro Económico Mundial creando salvaguardias para la inteligencia artificial?
El Centro de Excelencia en IA conecta a líderes de todos los sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Apoya un diálogo informado sobre las oportunidades, los riesgos y las compensaciones vinculadas a la adopción de la IA.
A través de espacios de confianza e iniciativas de colaboración, el Centro permite a sus socios generar una comprensión compartida y trabajar juntos en enfoques responsables para la innovación y el uso de la IA.
Este enfoque se conoce como “envenenamiento” de datos. Hará que las herramientas de IA generativa creen imágenes distorsionadas o que no coincidan con lo que se busca.
Las herramientas de IA extraen datos de miles de millones de imágenes en línea, por lo que cuanto más se utilice Nightshade, más podría envenenarse la IA, añade MIT Technology Review.
¿Por qué se ha desarrollado Nightshade?
Las empresas de IA faltan al respeto a los derechos de autor y a la propiedad intelectual de los artistas cuando entrenan sus herramientas generadoras de imágenes con obras de artistas sin permiso, afirma Ben Zhao, profesor de informática de la Universidad de Chicago que dirige el proyecto Nightshade.
Espera que Nightshade disuada de este comportamiento y devuelva algo de poder a los artistas.
Artistas, intérpretes y discográficas han presentado demandas contra empresas de IA, entre ellas OpenAI, creadora de ChatGPT, por entrenar su IA con material de artistas sin permiso, informa el sitio de noticias tecnológicas VentureBeat.
¿Cómo podría afectar Nightshade al sector de la IA?
Nightshade podría tener un impacto importante si las empresas de IA se ven obligadas a respetar más a los artistas y sus derechos, por ejemplo, mediante el pago de regalías, afirman los colaboradores del artículo del MIT.
Algunas empresas de IA disponen de mecanismos para que los artistas excluyan sus obras del entrenamiento de la IA generativa. Sin embargo, los artistas sostienen que esto no es suficiente y que las empresas de IA siguen teniendo demasiado poder.
La IA generativa es una tecnología emergente a escala mundial
La IA generativa es una de las principales tecnologías incluidas en el informe del Foro Económico Mundial Top 10 Emerging Technologies of 2023 informe.
El informe destaca las tecnologías que se espera tengan un impacto positivo en la sociedad en los próximos tres a cinco años. La IA generativa ocupa el segundo lugar.
“Aunque la IA generativa se centra actualmente en la producción de texto, la programación informática, las imágenes y el sonido, esta tecnología podría aplicarse a diversos fines, como el diseño de fármacos, la arquitectura y la ingeniería”, afirma el Foro.
No obstante, las aplicaciones de IA generativa deben generar confianza pública cumpliendo con normas profesionales y éticas acordadas.
