Una técnica de IA llamada aprendizaje por refuerzo podría ayudarnos a resolver algunos de los problemas más complejos del mundo.
Permite que un algoritmo aprenda a realizar una tarea mediante prueba y error en un simulador, o gemelo digital.
Aplicar esta técnica para probar iniciativas de protección del clima en un gemelo digital de la Tierra podría ayudarnos a abordar el cambio climático.
El año pasado emprendimos un ambicioso proyecto con el equipo de vela Emirates Team New Zealand para construir un bot de IA que pudiera navegar una versión digital de cualquier tipo de diseño de embarcación que diseñaran de forma digital, en condiciones de navegación simuladas y reales. Esto permitiría a los ingenieros probar diversos diseños de embarcaciones mucho más rápido que si tuvieran que reservar tiempo con los velerosos humanos del equipo, que solo podían apartarse de los entrenamientos unas pocas horas aquí y allá.
Para navegar tan bien como los mejores velerosos del mundo, el bot de IA necesitaba aprender a ejecutar muchas maniobras diferentes en condiciones variables, elegir el mejor rumbo bajo una gran variedad de vientos y mares, ajustar 14 controles distintos de la embarcación en consecuencia, evaluar los resultados de sus decisiones y mejorarlas continuamente a lo largo de horizontes temporales prolongados.
Entrenamos al bot utilizando una técnica de IA llamada aprendizaje por refuerzo, que permite que un algoritmo aprenda a realizar una tarea mediante prueba y error mientras prueba acciones en un simulador, o gemelo digital, y recibe retroalimentación instantánea sobre dichas acciones a través de un sistema de recompensas.
Lograr que el bot navegara a un nivel tan elevado era un problema muy complejo de abordar. Pero este tipo de problema complejo, que presenta un entorno dinámico con muchas variables y numerosas acciones y trayectorias posibles entre las que elegir, es precisamente el ámbito en el que el aprendizaje por refuerzo destaca.
El poder del aprendizaje por refuerzo
Existen aplicaciones de esta técnica en prácticamente todos los sectores. Por ejemplo, mientras que antes los minoristas podían esperar razonablemente que los comportamientos de compra pasados indicaran las preferencias futuras, hoy operan en un mundo en el que los patrones de compra y las preferencias de los consumidores evolucionan con rapidez, aún más desde que la pandemia de COVID-19 redefine la vida de forma repetida. Los fabricantes y las empresas de bienes de consumo envasados se ven presionados a construir cadenas de suministro dinámicas que tengan en cuenta los cambios climáticos, políticos y sociales en cualquier lugar del mundo en cualquier momento. Cada uno de estos retos representa un problema de optimización complejo y muy dinámico, que, con los datos adecuados y bucles de retroalimentación, es muy adecuado para resolverse mediante el aprendizaje por refuerzo.
Tras completar el proyecto, nos detuvimos a considerar cómo una técnica cada vez más viable, como el aprendizaje por refuerzo, podría aplicarse a los apremiantes desafíos sociales. El aprendizaje por refuerzo es eficaz para resolver problemas de optimización complejos y predecir la mejor siguiente acción. ¿Podría utilizarse la tecnología, por ejemplo, para identificar y priorizar las zonas que necesitan con urgencia asistencia alimentaria y optimizar su distribución en todo el mundo?
Cómo podría combatir el cambio climático
En el caso del cambio climático, ¿podría aplicarse el aprendizaje por refuerzo a un gemelo digital de la Tierra para probar cómo una multitud de iniciativas independientes de protección del clima en todo el planeta pueden secuenciarse y combinarse de la mejor manera en un conjunto que se refuerce mutuamente? Varios avances podrían converger para hacer viable esto.
En primer lugar, disponemos de datos suficientes: se prevé que la datosfera mundial alcance los 175 zettabytes en 2025, y los satélites transmiten constantemente a la Tierra datos que pueden utilizarse para mejorar nuestra comprensión de cómo y por qué está cambiando el clima. En junio de 2016, por ejemplo, GHGSat lanzó el primer satélite de alta resolución capaz de captar mediciones atmosféricas de cualquier instalación industrial del mundo y calcular las emisiones de gases de efecto invernadero asociadas. En otro ejemplo, las imágenes satelitales habilitadas por IA están permitiendo a NCX realizar inventarios precisos de los bosques del mundo, proporcionando información que puede ayudarnos a cultivar árboles más grandes y robustos que absorban más CO2.
La supervisión de los océanos también ha mejorado notablemente. La Administración Nacional Oceánica y Atmosférica de Estados Unidos, por ejemplo, supervisa las temperaturas, corrientes, niveles y composición química del océano mediante miles de boyas y flotadores que toman mediciones diarias en niveles superficiales y profundos.
En segundo lugar, algunas de las mayores empresas del mundo están tomando conciencia de sus responsabilidades medioambientales y poniendo en marcha numerosas iniciativas de protección del clima con objetivos ambiciosos. El aprendizaje por refuerzo podría evaluar los efectos de estas iniciativas.
Algunos ejemplos:
Microsoft se ha comprometido a invertir 1000 millones de dólares en medidas climáticas y eliminar las emisiones de carbono para 2030.
Starbucks se ha comprometido a almacenar más carbono del que emite, eliminar residuos y proporcionar más agua limpia de la que utiliza.
Google ha pasado a utilizar fuentes 100 % renovables para su suministro energético, utiliza un algoritmo de aprendizaje por refuerzo para refrigerar sus centros de datos con un ahorro energético de alrededor del 40 %, y está trabajando con DeepMind para utilizar algoritmos de ML para predecir los niveles de viento y programar en consecuencia la entrega de energía a la red.
En McKinsey & Company, nos hemos comprometido a alcanzar un impacto climático neto cero para 2030 y ya hemos pasado a utilizar fuentes de energía renovable en un 95 % y hemos compensado el 100 % de nuestras emisiones de gases de efecto invernadero desde 2018.
En tercer lugar, el coste y la complejidad de implementar el aprendizaje por refuerzo están disminuyendo. Las últimas iteraciones de los algoritmos de aprendizaje por refuerzo son mucho más eficientes para entrenarse en la realización de tareas, lo que reduce sustancialmente los costes de cómputo. Al mismo tiempo, el coste del propio cómputo ha disminuido significativamente. Hoy en día, las empresas pueden acceder a sistemas especializados en la nube y pagar solo por lo que utilizan. Los proveedores de nube también han intensificado sus esfuerzos por ofrecer marcos de aprendizaje por refuerzo preempaquetados y listos para empresas, que pueden desplegarse en serie para eliminar parte del trabajo manual de codificación e integración.
Por último, y lo que es más importante, en marzo la Comisión Europea anunció su iniciativa "Destination Earth", en la que los científicos trabajarán para crear un gemelo digital de la Tierra que permita cartografiar el cambio climático y evaluar las soluciones que podrían ralentizarlo o revertirlo. La UE prevé abrir progresivamente el modelo digital de la Tierra al uso de la industria. Los modelos generados por la iniciativa Destination Earth podrían servir de campo de pruebas para determinar si el aprendizaje por refuerzo podría analizar las iniciativas climáticas en todo el mundo, evaluando su efecto colectivo y determinando qué acciones adicionales deben adoptarse para detener o revertir el cambio climático.
Esto no será fácil ni una solución milagrosa. Pero, a medida que las nuevas herramientas de IA y otras tecnologías sigan siendo más viables y potentes, debemos buscar formas de combinar esfuerzos en la industria, el mundo académico y las instituciones públicas para ayudarnos a avanzar colectivamente en cuestiones mundiales importantes.
