Los economistas pueden aprender de los grandes modelos de lenguaje desentrañando su funcionamiento.
Esto se debe a que, al igual que el texto, que implica interacciones complejas entre muchas palabras, las economías también implican interacciones complejas entre una colección multifacética de personas y objetos.
Los economistas deberían acoger con agrado esta nueva revolución metodológica y considerarla un nuevo Salvaje Oeste para la creatividad y la experimentación.
Como todo el mundo, los economistas han disfrutado de las debilidades y virtudes de los grandes modelos de lenguaje (LLM). Los LLM, como ChatGPT, son asombrosamente elocuentes. Pero una pregunta clave es: ¿podemos aprender algo sobre la economía a partir de estos modelos que no sepamos ya?
Creo que los economistas pueden aprender mucho de los LLM, no conversando con ellos, sino desentrañando su funcionamiento. Después de todo, los LLM se basan en conceptos matemáticos lo bastante potentes como para ayudarnos a simular el lenguaje. Quizá comprender cómo funcionan estos modelos pueda convertirse en una nueva fuente de inspiración para los economistas.
Para entender cómo funcionan los LLM, resulta útil partir de la versión más primitiva de un modelo generador de lenguaje. Imaginemos que usamos un gran corpus de texto para contar el número de veces que cada palabra, como brown, va seguida de otra palabra, como dog. Estas secuencias de dos palabras se denominan 2-gramas o bigramas. Esta matriz es un modelo primitivo de generación de lenguaje. Es demasiado simple para producir buenos textos, pero aun así lo bastante «inteligente» como para haber «aprendido» que en inglés los adjetivos tienden a preceder a los sustantivos: el bigrama brown dog es mucho más frecuente que dog brown.
Los LLM generalizan esta idea a n-gramas. Son modelos que pueden estimar la probabilidad de una palabra dada una secuencia de palabras anteriores (técnicamente tokens, que son fragmentos de palabras como archi, una parte de las palabras architecture y archive). Ciertamente, las matrices de n-gramas pueden crecer de forma explosiva. Con 10.000 palabras, tenemos 100 millones de 2-gramas, un billón de 3-gramas y, al llegar a los 18-gramas, tenemos más combinaciones que la cantidad de información que podríamos almacenar utilizando cada átomo de nuestro planeta (1072 combinaciones, cuando nuestro planeta puede almacenar unos 1056 bits).
Por tanto, la ingeniería de los LLM debe implicar una idea ingeniosa. Esa idea es el uso de redes neuronales para estimar una función que describa todas estas secuencias de palabras utilizando solo unos pocos parámetros. Con casi un billón de parámetros, los LLM pueden parecer enormes, pero un billón de parámetros es insignificante comparado con los n-gramas de la biblioteca de Borges.
El resultado son modelos que empiezan a imitar el conocimiento. Los LLM «saben» que té y café son similares porque han aprendido que estas palabras se usan cerca de palabras como caliente, beber y desayuno. Al representar las palabras no como entidades aisladas, sino como nodos de redes, estos modelos crean las representaciones necesarias para generar lenguaje.
¿Qué tiene esto que ver con la economía?
Al igual que el texto, que implica interacciones complejas entre muchas palabras, las economías también implican interacciones complejas entre una colección multifacética de personas y objetos. Ciertamente, podemos agrupar estos elementos en categorías predefinidas, como capital y trabajo, o en actividades, como la agricultura, los servicios y la manufactura. Pero, del mismo modo que los modelos de lenguaje basados en la idea de sustantivos, verbos y gramática son modelos incompletos del lenguaje, también lo serán los modelos basados en categorizaciones gruesas de las actividades económicas. Lo que nos enseñan los LLM es que existe un límite a nuestra capacidad para captar la sutileza del mundo mediante categorías predefinidas y lógica deductiva. Si queremos entrar en los detalles más concretos, necesitamos una caja de herramientas matemáticas que nos ayude a captar los sistemas con una resolución más fina.
Esta idea no es del todo nueva. De hecho, hay ramas de la economía que llevan mucho tiempo utilizando algunas de estas ideas. Seis años antes de la publicación de Word2vec, un conocido algoritmo de incrustación de palabras, junto con otros tres colegas publicamos una representación en red del comercio internacional. Esa red es técnicamente un 2-grama, que representa los productos en función de sus relaciones con otros. Al igual que en el ejemplo del café y el té, esta red «sabe» que las máquinas de perforación y las cuchillas de corte están relacionadas porque tienden a exportarse junto con un conjunto similar de otros productos. La red «sabe» distinguir entre la agricultura tropical y la de clima templado, y entre la fabricación de camisetas y la de pantallas LCD.
Durante los últimos quince años, estos métodos han ganado un público cada vez mayor entre los jóvenes economistas y los profesionales experimentados. Por un lado, proporcionan las herramientas necesarias para aplicar predicción de políticas, ideas, como anticipar la entrada y salida de economías en distintos productos y mercados, al desarrollo económico. También han dado lugar a «incrustaciones» para la economía (representaciones vectoriales, como las que se utilizan para describir una palabra en un modelo de aprendizaje profundo). Un ejemplo de esta incrustación es el Índice de Complejidad Económica, una métrica derivada de una matriz de similitud entre economías que explica las variaciones regionales e internacionales en el crecimiento económico a largo plazo, la crecimiento económico, desigualdad de ingresos y emisiones.
La capacidad del aprendizaje automático para recopilar, estructurar y representar datos está creando oportunidades para investigadores de todos los ámbitos. Desde biólogos computacionales que buscan comprender y predecir el comportamiento de las proteínas, hasta expertos en economía y desarrollo internacional que buscan comprender y predecir la evolución de las economías. Tanto los economistas como los científicos de la computación deberían acoger con agrado esta nueva revolución metodológica. Es un nuevo Salvaje Oeste para la creatividad y la experimentación.
