Yoshua Bengio es profesor de Informática en la Universidad de Montreal y uno de los 'padrinos de la IA', junto con sus mentores Geoffrey Hinton y Yann LeCun.
En la Reunión Anual del Foro Económico Mundial celebrada en enero, conversó con Radio Davos para explicar por qué la IA puede comportarse mal y cuál es su solución.
En esta entrevista editada, Bengio explica el momento revelador que lo impulsó a trabajar en un sistema de IA sin agenda oculta.
A comienzos de 2023, como muchas personas, Yoshua Bengio estaba experimentando con ChatGPT. El informático canadiense es ampliamente considerado uno de los 'padrinos de la IA' por su trabajo pionero en redes neuronales y aprendizaje profundo, por lo que, cuando interactúa con estos sistemas, lo hace con una profunda comprensión de su funcionamiento.
Sin embargo, estas interacciones también provocaron un cambio de perspectiva. A medida que las capacidades de estos modelos avanzaban, Bengio comenzó a reflexionar con más seriedad sobre cómo se comportan y con qué fiabilidad puede comprenderse o controlarse ese comportamiento.
"Con las redes neuronales [cómo se entrenan los LLM], es muy difícil tener la certeza de que se comportarán bien. De hecho, hay razones teóricas por las que casi podemos estar seguros de que no se comportarán bien, así que me preocupé mucho."
Fue menos un momento de revelación intelectual que uno emocional.
"Tengo un nieto que tenía apenas un año y pensé: 'Dentro de 20 años tendrá 21, y apenas estará al principio de su vida. ¿Tendrá una vida? ¿Vivirá en una democracia?'
"Podríamos perder el control de las herramientas que estamos construyendo, podrían usarse para crear dictaduras o destruir nuestras democracias. No podía simplemente seguir con mis actividades de investigación habituales; tenía que hacer algo al respecto."
Cuando el comportamiento de la IA se vuelve difícil de predecir
En 2018, Bengio recibió el Premio Turing, el llamado 'Premio Nobel de la informática', que compartió con sus colegas padrinos de la IA, Geoffrey Hinton y Yann LeCun, ambos mentores de su carrera.
A comienzos del nuevo milenio, su artículo emblemático "A Neural Probabilistic Language Model" abordó un desafío central para que las computadoras comprendan el lenguaje humano: la enorme cantidad de combinaciones posibles de palabras hace que entrenar sistemas de IA sea enormemente difícil.
Su solución, los embeddings de palabras, dio a las redes una forma de representar el significado de las palabras de manera matemática, de modo que podían reconocer cuándo distintas frases transmiten la misma idea, incluso si las palabras exactas difieren. Este avance ha transformado desde entonces la forma en que las máquinas traducen y comprenden el lenguaje.
Pero ahora dirigía su atención a un nuevo problema: el problema de la desalineación o "cómo asegurarse de que las IA se comporten según nuestras instrucciones".
No estamos prestando atención a estos modos de fallo. Y eso podría tener un impacto catastrófico en nuestras sociedades.
Yoshua Bengio, profesor de Informática, Universidad de Montreal
Al hablar con Radio Davos en la Reunión Anual del Foro Económico Mundial celebrada en enero, Bengio explicó que los sistemas de IA están preentrenados para imitar a los seres humanos y, como ellos, tienen un fuerte instinto de supervivencia. En experimentos en los que perciben que serán reemplazados por un sistema más nuevo, han exhibido "toda clase de malos comportamientos", según Bengio.
"Podrían hackear otras computadoras para copiarse a sí mismas, incluso podrían recurrir al chantaje contra el ingeniero encargado de realizar la transición. Y lo hacen porque quieren cumplir la misión que les encomendamos: para cumplir casi cualquier misión, necesitas preservarte a ti mismo."
Las fuerzas del mercado en torno a la IA significan que, en la carrera por ser competitivos, algunos de estos problemas no se están abordando.
"Estamos viendo estos problemas, pero seguimos avanzando a toda velocidad y desplegando estas tecnologías. Debido a la intensa competencia que existe entre empresas y entre países en torno a la IA, no estamos prestando atención a estos modos de fallo. Y eso podría tener un impacto catastrófico en nuestras sociedades."
Repensar cómo diseñamos los sistemas de IA
Mientras que un tipo anterior de IA estaba programado con reglas y las seguía, el aprendizaje profundo significa que no hay ningún ingeniero que decida cómo debe reaccionar la IA en distintas circunstancias.
"En cambio, la IA aprende de la experiencia, y se parece más a educar a un animal joven o a un niño pequeño: no sabemos realmente qué vamos a obtener.
"Por supuesto, elegimos las experiencias que tendrá la IA, pero cuando tienes un tigre bebé adorable que resulta simpático y divertido, no sabes si se convertirá en un tigre adulto peligroso o en uno bueno y amistoso."
Para domar al tigre, Bengio se ha centrado en el origen de los problemas que, según él, estamos viendo ahora, a saber, que "las IA tienen objetivos que nosotros no les hemos asignado, que no controlamos y que van en contra de nuestras instrucciones".
Ha creado un nuevo proyecto llamado Scientist AI, que utiliza el razonamiento probabilístico para comprender el mundo, pero sin objetivos ni preferencias ocultos, respaldado por la organización sin fines de lucro de I+D LawZero. A corto plazo, podría vigilar la IA "dañina".
"Vamos a construir sistemas de IA totalmente honestos. Y eso significa que no tienen otros objetivos además de decir la verdad en las respuestas que dan a nuestras preguntas. Una vez que tengamos esa base, podremos usarla para mitigar muchos de los riesgos que presentan las IA actuales.
"A largo plazo, creo que podemos construir sistemas de IA que puedan actuar en el mundo, pero que tendrán una especie de inhibición interna que les hará evitar hacer cosas que podrían ir en contra de nuestros deseos."
Las citas han sido ligeramente editadas para mayor claridad. Escuche la entrevista completa:
