Por qué integrar la seguridad en el producto es clave para construir mejores bots

El camino hacia bots seguros, confiables y ampliamente implementados requiere la colaboración de múltiples partes interesadas. Image: DC Studio/Freepik
- El debate sobre la seguridad de la IA a menudo pasa por alto los riesgos para los usuarios finales al centrarse demasiado en los modelos fundamentales y muy poco en los productos desplegados.
- El camino hacia productos seguros de IA generativa requiere que los campos de IA responsable y de confianza y seguridad digital aprendan unos de otros.
- Al aplicar las lecciones de confianza y seguridad y una gobernanza rigurosa de IA responsable, podemos construir bots innovadores y seguros para el futuro.
El discurso actual sobre las salvaguardas de la inteligencia artificial (IA) sufre de un problema de alineación: a menudo confunde las preocupaciones de seguridad en los modelos fundamentales con las de los productos con los que los usuarios finales interactúan a diario.
Los avances recientes en las capacidades de la IA general —como el lanzamiento de GPT-5 y su implementación en ChatGPT— han captado la atención global. Este enfoque corre el riesgo de distraer tanto a los profesionales como a los responsables de políticas de un enfoque colaborativo, en el que los métodos probados de confianza y seguridad se mejoran mediante el uso de inteligencia artificial para garantizar que los productos de IA generativa (GenAI) sean lo más seguros posible para las personas que los utilizan.
El camino hacia chatbots y otros productos de IA generativa para consumidores que sean seguros, confiables y ampliamente desplegados requiere que los campos, a menudo aislados, de inteligencia artificial responsable y de confianza y seguridad digital aprendan unos de otros —y de los enfoques probados para gestionar riesgos en diferentes partes de las cadenas de valor y suministro.
La seguridad de los modelos no es suficiente
Desde responsables de políticas hasta filántropos, y desde activistas hasta ejecutivos, la conversación en torno a la seguridad de la inteligencia artificial se ha centrado en gran medida en garantizar que los modelos de IA general sean, de manera general, seguros, ya sea frente a riesgos existenciales para la humanidad o frente a preocupaciones cotidianas sobre equidad y amenazas a comunidades vulnerables.
Pero centrarse únicamente en los modelos pasa por alto una dimensión igualmente urgente: cómo los productos de IA generativa afectan a los consumidores reales hoy en día. Esta es un área en la que las empresas de consumo en línea —desde comercio hasta juegos— se han enfocado durante años, con un conjunto de herramientas de seguridad cada vez más sofisticado.
Los riesgos más urgentes de la IA no son hipotéticos. Alegaciones de chatbots que fomentan la autolesión y la creación industrial de imágenes íntimas no consensuadas y material de abuso sexual infantil subrayan que la seguridad del usuario final debe ser prioritaria.
A pesar de la superposición entre los laboratorios de inteligencia artificial y las empresas que crean productos digitales tradicionales, necesitamos más colaboración entre los campos de la IA responsable y de confianza y seguridad digital.
En el lado de la inteligencia artificial, contamos con repositorios de riesgos robustos, colaboraciones de investigación y un ecosistema de esfuerzos de gobernanza de IA que han generado debate público, elevando la comprensión de los riesgos existenciales y sociales derivados del uso indebido de la IA de propósito general.
Determinar la responsabilidad de la seguridad dentro de la complicada cadena de suministro de la IA es un desafío, ya que los roles de los proveedores de infraestructura, desarrolladores de modelos, implementadores de modelos y usuarios finales a menudo se mezclan y se difuminan. Los desarrolladores de modelos de vanguardia, por ejemplo, también operan infraestructura, despliegan productos para consumidores y empresas, y utilizan estas herramientas ellos mismos, como para la moderación de contenidos.
Por eso, poner a las personas en primer lugar es el punto de partida correcto. Al centrarnos en cómo las personas interactúan con los productos de IA, podemos aplicar métodos probados para evaluar riesgos y mitigar daños, sin reinventar la rueda.
Lecciones de la seguridad digital
Aquí también entran en juego los avances logrados en las últimas décadas por los profesionales de confianza y seguridad. Desde normas internacionales hasta foros dedicados a la colaboración en los desafíos más difíciles, los implementadores de productos y servicios de IA pueden beneficiarse de las lecciones duramente ganadas sobre confianza y seguridad.
Por ejemplo, las redes sociales y otros servicios digitales han pasado décadas lidiando con cómo mitigar la difusión de contenido dañino, al mismo tiempo que protegen el derecho de los usuarios a acceder a la información. Los resultados pueden verse diferentes para los chatbots, pero el cálculo para evaluar riesgos y considerar compensaciones al lanzar nuevas funciones es el mismo.
La integración acelerada de la IA en los servicios digitales existentes significa que, para muchas personas, su primer encuentro con la IA generativa será dentro de productos ya conocidos: buscadores, herramientas de productividad o redes sociales.
La mirada regulatoria sobre los bots
Esto también refleja cómo los reguladores están considerando la inteligencia artificial como parte de las leyes de seguridad en línea, como lo hace el Reglamento de Servicios Digitales de la Unión Europea. Según reportes, la Comisión Europea designará pronto el componente de búsqueda de ChatGPT como un “motor de búsqueda en línea muy grande”, sometiendo el servicio a mayores requisitos de diligencia debida y transparencia.
Además, las directrices publicadas por la Comisión sobre procesos electorales y protección de menores han identificado los riesgos derivados de las herramientas de IA y de las imágenes generadas por IA como una prioridad especial.
La interacción entre productos de inteligencia artificial y otros servicios digitales también genera riesgos novedosos, como el archivo de conversaciones de IA por parte de motores de búsqueda, lo que requerirá colaboración entre industrias para encontrar soluciones.
De manera alentadora, algunas empresas de IA se están uniendo a organismos ya establecidos, como Anthropic, que recientemente se incorporó al Foro Global de Internet para Contrarrestar el Terrorismo. Pero se necesita una participación más amplia de los implementadores de IA en la industria y en colaboraciones multiactor.
Una oportunidad transformativa para los bots
Todos los sectores innovadores tienden a ver sus desafíos como excepcionalmente complejos. Pero, aunque los riesgos puedan ser nuevos, las prácticas que pueden abordarlos no lo son. Mejores experiencias para los usuarios, que pueden impulsar la adopción generalizada de IA generativa, surgirán de:
- La colaboración de la industria para integrar la seguridad desde el diseño en el desarrollo de productos
- Una gobernanza cuidadosa, explicable y actualizada regularmente
- Una aplicación que combine capacidades humanas y de IA
- La dedicación a la mejora continua y a enfoques creativos de transparencia adecuada
La buena noticia es que, a nivel operativo, los profesionales de inteligencia artificial y de confianza y seguridad digital están profundamente comprometidos entre sí en estos esfuerzos. La cantidad y calidad de las sesiones relacionadas con IA en la conferencia principal de confianza y seguridad TrustCon evidencian esta colaboración.
Y el potencial de que una IA bien alineada ayude a transformar la confianza y la seguridad es real. Las empresas que buscan evitar los errores del pasado pueden poner su tecnología a trabajar, no para reemplazar la confianza y seguridad, sino para potenciar sus capacidades. Para estar a la altura del momento, las asociaciones entre implementadores de IA y el ecosistema digital más amplio deben formalizarse y escalarse.
Si nos enfocamos en los usuarios finales humanos —aplicando tanto las lecciones de confianza y seguridad como una gobernanza rigurosa de IA responsable—, los chatbots de hoy y del futuro pueden ser a la vez innovadores y seguros.
No te pierdas ninguna actualización sobre este tema
Crea una cuenta gratuita y accede a tu colección personalizada de contenidos con nuestras últimas publicaciones y análisis.
Licencia y republicación
Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso.
Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.
Mantente al día:
Digital Identity
La Agenda Semanal
Una actualización semanal de los temas más importantes de la agenda global
Más sobre Tecnologías emergentesVer todo
Benjamin Wiener
2 de diciembre de 2025






