«My Friend Cayla» es una muñeca conectada a internet que utiliza tecnología de reconocimiento de voz para conversar e interactuar con los niños en tiempo real. Las conversaciones de Cayla se graban y se transmiten por internet a una empresa de análisis de voz.
Esto suscitó preocupación ante la posibilidad de que los piratas informáticos espiaran a los niños o se comunicaran directamente con ellos mientras jugaban con la muñeca. También preocupa cómo se utilizan los datos de voz de los menores. En 2017, las autoridades alemanas instaron a los padres a destruir la muñeca y la clasificaron como un «aparato de espionaje ilegal».
Cayla es solo un ejemplo de una nueva ola de juguetes con inteligencia artificial (IA) que se hacen «amigos» de los niños. Los fabricantes suelen afirmar que tienen fines educativos, enriquecen el juego y ayudan a los niños a desarrollar habilidades sociales. Sin embargo, los grupos de consumidores advierten que los juguetes inteligentes, al igual que otros «objetos» que conectamos a internet, pueden poner en riesgo la seguridad y la privacidad.
En la siguiente entrevista, Kay Firth-Butterfield, responsable de Inteligencia Artificial y Aprendizaje Automático del Foro Económico Mundial, explica cómo desenvolverse en un mundo donde los juguetes con IA son cada vez más populares.
¿Qué ocurre con los datos de los juguetes con IA?
Los juguetes se conectan a internet (por WiFi o Bluetooth a un teléfono u otro dispositivo con acceso a internet) y envían datos al proveedor. Esto permite que la IA de la empresa aprenda para ella y pueda conversar mejor con el niño.
La empresa graba y recopila todas las conversaciones del niño con el juguete y, posiblemente, también las de otros niños y adultos que interactúan con él.
Es probable que la empresa almacene estos datos y, sin duda, los utilice para crear un producto mejor.
El lugar donde se encuentra el juguete influye en cómo se almacenan los datos. Por ejemplo, en Estados Unidos, las empresas que crean juguetes educativos pueden conservar los datos durante más tiempo que otras empresas. Así, cuando el fabricante describe su juguete como educativo, obtiene el derecho a conservar los datos durante más tiempo.
A medida que salen al mercado más dispositivos —muchos comercializados como juguetes educativos—, su aparición hace saltar las alarmas en torno a la privacidad, los sesgos, la vigilancia, la manipulación, la democracia, la transparencia y la rendición de cuentas.
¿Qué cuestiones deberían preocuparnos más?
Alemania prohibió Cayla y otros juguetes similares por temor a que pudieran utilizarse para espiar a los niños y a que alguien pirateara el dispositivo y se comunicara directamente con el menor.
Pero también hablamos de empresas que monetizan los datos. Los datos de los juguetes con IA contienen todo lo que un niño le dice al dispositivo, incluidos sus secretos más preciados.
Si se recopilan esos datos, ¿tiene el niño derecho a recuperarlos? Si se recopilan desde la primera infancia y no pertenecen al niño, ¿lo hacen especialmente vulnerable, ya que cualquiera que compre los datos —por ejemplo, empresas o campañas políticas— podría conocer sus decisiones y patrones de comportamiento?
Según las leyes de privacidad del estado en el que se utilicen los juguetes, si se recopilan y conservan los datos, se infringe el Artículo 16 de la Convención sobre los Derechos del Niño: el derecho a la privacidad. (Aunque, por supuesto, podría decirse que los padres hacen algo parecido habitualmente al publicar fotos de sus hijos en Facebook).
¿Qué beneficios ofrecen los juguetes con IA?
La mayoría de los economistas sostendría que mejorar y ampliar el acceso a la educación es una de las mejores maneras de reducir la brecha entre el mundo en desarrollo y el mundo desarrollado.
Los juguetes y «maestros» educativos con IA podrían marcar una diferencia muy beneficiosa en el mundo en desarrollo.
Sin embargo, si el inversor de capital riesgo y antiguo director ejecutivo de Google China, Kai Fu Lee, tiene razón, las grandes empresas de IA de Occidente y China se limitarían a utilizar los datos recopilados por estos dispositivos, en lugar de beneficiar a los niños, a sus padres o a los países donde viven.
¿Qué influencia podrían tener los juguetes con IA en los niños?
Además del riesgo de que los pirateen, también debemos pensar en lo que estos juguetes dicen a nuestros hijos. ¿Quién arbitra estas conversaciones? ¿Quién codificó los algoritmos (y podría introducir en ellos sesgos involuntarios)? ¿Coinciden los valores a los que se expone el niño con los de sus padres? ¿Podrán los padres elegir los valores con los que se codifica el juguete?
Si el juguete tiene fines educativos, ¿alguien con al menos la cualificación necesaria para enseñar está revisando el algoritmo?
Estos juguetes tendrán una gran influencia porque los niños conversarán con ellos constantemente. Por ejemplo, si la muñeca dice que tiene frío y el niño pide a sus padres que le compren un abrigo, ¿eso es publicidad?
Si el niño tiene un juguete que le responde, en lugar de un amigo imaginario, ¿afectará eso al juego creativo para bien o para mal? El niño ya no tendrá que inventar historias sobre un amigo imaginario. ¿Podría este enorme cambio en el juego creativo transformarnos como seres humanos?
Si se recopilan datos, aunque no se almacenen, ¿tiene la empresa la obligación de señalar a los niños que comparten pensamientos suicidas u otras conductas autolesivas? Si un niño le confía al juguete que sufre abusos, ¿lo comunicará la empresa a las autoridades pertinentes? Y después, ¿qué hará la empresa con esa información?
Entonces, ¿qué podemos hacer para proteger a los niños?
Los padres necesitan respuestas a estas preguntas antes de comprar los dispositivos. Como mínimo, deberían comprobar que los valores que su hijo aprende con los juguetes con IA coinciden con los suyos.
En este momento, la responsabilidad de averiguar qué se hace con sus datos recae en los consumidores, pero se está debatiendo si debería exigirse a las empresas que se aseguren de que los consumidores entienden cómo se utilizan.
En el Foro Económico Mundial llevaremos a cabo un proyecto que replantea el papel de los reguladores para que certifiquen que los algoritmos son adecuados para su propósito, en lugar de limitarse a imponer una multa cuando algo sale mal, como ocurre actualmente.
Este podría ser el modelo regulatorio adecuado en este caso, porque hace falta ahora y forma parte de mecanismos de gobernanza ágil. Sin embargo, el problema de regular los juguetes inteligentes es que la IA aprende y cambia con cada interacción con el niño.
Esto no significa que estemos diciendo que los juguetes con IA sean malos. Algún día podrían ayudarnos a lograr un aprendizaje de precisión (utilizar la IA para adaptar la educación a las necesidades de cada niño). Además, los juguetes con IA podrían ser excelentes para preparar a los niños para trabajar junto a robots autónomos.
Lo que decimos es que los niños son vulnerables y, por eso, debemos plantearnos ya cómo se utiliza la IA a su alrededor y no probarla con ellos en fase beta.
Reportaje de Rosamond Hutt
