A medida que nos acercamos a la próxima frontera de la IA superinteligente, sistemas que se automejoran de forma recursiva y abordan problemas complejos y abiertos, debemos acordar qué significa 'resolver' un problema.
Si no podemos alinearnos en estas cuestiones entre los humanos, ¿cómo las codificamos para los sistemas de IA?
Los líderes se reúnen en la Reunión Anual del Foro Económico Mundial 2026 para explorar cómo el uso ético de la IA y otras tecnologías emergentes se traducirá en soluciones para desafíos del mundo real.
Más datos, más capacidad de cómputo e innovaciones arquitectónicas, como los transformadores, han permitido un rápido escalamiento de las capacidades de la IA. Ahora, a medida que nos acercamos a la próxima frontera de la IA superinteligente, sistemas que se automejoran de forma recursiva y abordan problemas complejos y abiertos, nos enfrentamos a una pregunta que ha estado oculta a plena vista. Debemos acordar qué significa realmente 'resolver' un problema.
La IA es excelente optimizando los objetivos que se le dan, lo que es a la vez una bendición y una maldición. Por ejemplo, una empresa decide que quiere maximizar las puntuaciones de satisfacción del cliente en un centro de llamadas. Sin ninguna otra orientación, la solución más simple podría ser inundar el sistema con un millón de bots que rellenen el formulario de satisfacción del cliente tras una breve llamada y seleccionen la calificación más alta. O podría decidir ofrecer a cada pedido fallido un obsequio de resolución de 10.000 dólares. La satisfacción del cliente subirá, pero ¿a qué costo? La IA cumplió lo que se le encomendó, pero de una manera inútil.
Esto se denomina piratería de recompensas (reward hacking). Si este problema se escala a los retos sociales, las consecuencias se vuelven existenciales.
Actualmente, tenemos ingenieros de instrucciones (prompt engineers) que diseñan indicaciones para los sistemas de IA: 'Responde de forma útil pero concisa' o 'Analiza estos datos y resume los hallazgos clave'. Estas funcionan porque las tareas están acotadas y los resultados son relativamente obvios.
Pero ¿qué sucede cuando pedimos a la IA que aborde problemas más grandes? Optimizar un sistema fiscal. Reducir la desigualdad. Combatir el cambio climático. Maximizar el crecimiento económico. De repente, ya no solo damos instrucciones, sino que codificamos valores, prioridades y compensaciones. Hemos prestado mucha atención a qué empleos desaparecerán o se reducirán debido a la IA, pero creo que surgirá una nueva línea de trabajo.
¿Cómo se ve realmente el éxito para la IA superinteligente?
Imaginemos que pedimos a una IA superinteligente que 'haga crecer la economía y resuelva la desigualdad económica'. ¿Qué significa eso?
¿Significa ingresos iguales para todos? ¿Oportunidades iguales? ¿Resultados iguales en dimensiones específicas? ¿Queremos conservar cierta desigualdad para mantener los incentivos a la innovación? ¿Qué pasa si reducir la desigualdad exige frenar el crecimiento económico? ¿Es eso aceptable?
O considere: 'Haz que la empresa sea más rentable'. ¿Debe la IA maximizar los beneficios trimestrales? ¿El valor para los accionistas a largo plazo? ¿Debe tener en cuenta el bienestar de los empleados? ¿El impacto ambiental? ¿En qué punto la optimización de beneficios se vuelve problemática?
Son cuestiones filosóficas y políticas complejas que las sociedades llevan siglos debatiendo. Pero para que la superinteligencia nos ayude realmente a resolver estos grandes retos globales, debemos averiguar cómo articular lo que queremos.
He visto este desafío de primera mano. En nuestro artículo sobre el AI Economist, utilizamos el aprendizaje por refuerzo para diseñar políticas fiscales óptimas. Creamos una economía simulada en la que agentes de IA actuaban como trabajadores y como planificador económico, todos aprendiendo juntos a encontrar políticas fiscales que mejoraran la compensación entre igualdad y productividad.
Le dijimos a la IA que optimizara la igualdad multiplicada por la productividad. ¿Qué pasaría si lo lograra destruyendo el medio ambiente en el proceso? ¿O creando resultados técnicamente iguales en los que todos fueran miserables? Habríamos alcanzado nuestro objetivo declarado, pero habríamos obtenido algo que claramente no queríamos.
Si no logra ponerse de acuerdo sobre la recompensa real que quiere dar a la IA, o si no piensa de forma innovadora sobre cómo la IA podría cumplir una tarea de una manera no deseada, la IA no podrá lograr estas cosas bien por usted. Tiene que encontrar todos estos casos límite, todos estos escenarios de fallo que alcanzan objetivamente su meta, pero que en la práctica no era lo que quería decir.'
Cómo el Foro ayuda a los líderes a comprender la IA y a colaborar en la innovación responsable
El Centro para la Excelencia en IA conecta a líderes de todos los sectores para comprender la rápida evolución de la inteligencia artificial y sus implicaciones para las economías y las sociedades. Respalda un diálogo informado sobre las oportunidades, riesgos y compensaciones vinculados a la adopción de la IA.
A través de espacios de confianza e iniciativas colaborativas, el Centro permite a los socios construir una comprensión compartida y trabajar juntos en enfoques responsables para la innovación y el uso de la IA.
¿Quién decide qué significa 'resuelto'?
Esto nos lleva a quizás la pregunta más difícil: ¿quién decide qué significa 'resuelto'? Las distintas naciones tienen valores fundamentalmente diferentes.
Incluso dentro de los países, no logramos ponernos de acuerdo. ¿Debemos optimizar el crecimiento del PIB o la felicidad? ¿La libertad o la seguridad? ¿La innovación o la estabilidad? ¿La libertad individual o el bienestar colectivo? Si no podemos alinearnos en estas cuestiones entre los humanos, ¿cómo las codificamos para sistemas de IA que podrían trabajar en recomendaciones para optimizar entre varias civilizaciones humanas?
Necesitamos marcos compartidos para pensar en resultados objetivos, del mismo modo que necesitamos protocolos internacionales para las pruebas de seguridad de los productos. Además, necesitamos personas especializadas en traducir los valores humanos y los objetivos sociales en especificaciones precisas con las que los sistemas de IA puedan trabajar. Lo llamo ingeniería de recompensas. Sea cual sea el nombre, es una disciplina y un título profesional que apenas existe hoy.
Estas personas deben comprender la IA lo bastante a fondo como para anticipar cómo una superinteligencia abierta, en aprendizaje continuo y en automejora podría manipular los objetivos, no porque sea malvada o tenga mente propia, sino porque encontrará la forma más simple, barata y rápida de obtener una recompensa que los humanos le han definido. Necesitarían cierta formación en pensamiento crítico y filosófica para abordar cuestiones fundamentales sobre valores y compensaciones. Necesitarían conocimientos especializados en el ámbito de aplicación de su IA: economía, política, ética y ciencias sociales, o las funciones más mundanas, pero muy importantes, como los centros de llamadas de atención al cliente. Deberían pensar en escenarios de fallo: situaciones en las que se alcanza objetivamente el objetivo declarado pero, en la práctica, se obtiene algo que nadie quería.
¿Qué debe considerarse antes de desplegar la IA superinteligente?
Algunos sostienen que necesitamos un consenso global sobre los objetivos antes de desplegar una IA potente. Otros dirán que los objetivos deben surgir mediante la competencia y la experimentación. Algunos querrán procesos democráticos para definir los valores. Otros confiarán en expertos o en los mercados. Como la IA será cada vez más relevante en todas las industrias, no tiene sentido intentar definirla toda en abstracto. Debemos regularla cuando realmente afecte la vida de las personas en cada industria.
Todavía no tenemos todas las respuestas sobre cómo la IA afecta a todos los empleos de cada industria, pero sí sé que los avances tecnológicos por sí solos no bastarán para generar avances económicos y sociales gracias a la superinteligencia.
Antes de que la IA superinteligente pueda resolver los retos globales, debemos resolver uno muy humano: acordar qué significa 'resuelto' y construir los marcos para traducir eso en algo con lo que la IA pueda trabajar.
¿Para qué empleos será más valioso definir una recompensa?
