Un artículo reciente publicó una lista de las ideas estadísticas más importantes del último medio siglo.
Los autores describen aquí 10 avances en estadística que han contribuido a impulsar la revolución de la inteligencia artificial.
Los 10 libros y artículos pueden considerarse representativos de campos enteros.
Si alguna vez has pedido ayuda a Siri o Alexa, o has generado un autorretrato al estilo de un pintor del Renacimiento, has interactuado con el aprendizaje profundo, una forma de inteligencia artificial que extrae patrones de montañas de datos para hacer predicciones. Aunque el aprendizaje profundo y la IA se han convertido en términos de uso común, los avances en estadística que han impulsado esta revolución son menos conocidos. En un artículo reciente, Andrew Gelman, profesor de estadística en Columbia, y Aki Vehtari, profesor de informática en la Universidad Aalto de Finlandia, publicó una lista de las ideas estadísticas más importantes de los últimos 50 años.
A continuación, Gelman y Vehtari desglosan la lista para quienes pudieron dormirse durante Estadística 101. Cada idea puede considerarse un representante de un subcampo completo, afirman, con algunas salvedades: la ciencia es incremental; al destacar estos trabajos, no pretenden restar importancia a trabajos similares y relacionados. También han optado por centrarse en los métodos de estadística y aprendizaje automático, en lugar de en avances igualmente importantes en la computación estadística y en la informática e ingeniería, que han proporcionado las herramientas y la potencia de cálculo para que el análisis y la visualización de datos se conviertan en herramientas prácticas cotidianas. Por último, se han centrado en los métodos, reconociendo que los avances en teoría y métodos suelen estar motivados por aplicaciones específicas.
¿Ves algo importante que falte? Escríbelo en Twitter con @columbiascience y Gelman y Vehtari considerarán añadirlo a la lista.
Los 10 artículos y libros que aparecen a continuación se publicaron todos en los últimos 50 años y están ordenados cronológicamente.
1. Hirotugu Akaike (1973). Information Theory and an Extension of the Maximum Likelihood Principle. Proceedings of the Second International Symposium on Information Theory.
Este es el artículo que introdujo el término AIC (originalmente llamado An Information Criterion, pero hoy conocido como Akaike Information Criterion), para evaluar el ajuste de un modelo en función de su precisión predictiva estimada. El AIC fue reconocido de inmediato como una herramienta útil, y este artículo fue uno de varios publicados a mediados de la década de 1970 que situaban la inferencia estadística en un marco predictivo. Hoy reconocemos la validación predictiva como un principio fundamental en estadística y aprendizaje automático. Akaike fue un estadístico aplicado que, en la década de 1960, intentó medir la rugosidad de las pistas de aterrizaje de los aeropuertos, de la misma manera que los primeros artículos de Benoit Mandelbrot sobre taxonomía y distribuciones de Pareto dieron lugar a su trabajo posterior sobre las matemáticas de los fractales.
2. John Tukey (1977). Exploratory Data Analysis.
Este libro ha tenido una enorme influencia y es una lectura amena que puede asimilarse en una sola sentada. Tradicionalmente, la visualización y la exploración de datos se consideraban aspectos de menor rango de la estadística práctica; el prestigio estaba en ajustar modelos, demostrar teoremas y desarrollar las propiedades teóricas de los procedimientos estadísticos bajo diversos supuestos o restricciones matemáticas. Tukey dio la vuelta a esta noción. Escribió sobre herramientas estadísticas no para confirmar lo que ya sabíamos (o creíamos saber), ni para rechazar hipótesis que nunca deberíamos haber creído, sino para descubrir ideas nuevas e inesperadas a partir de los datos. Su trabajo impulsó avances en el análisis de redes, en el software y en perspectivas teóricas que integran la confirmación, la crítica y el descubrimiento.
3. Grace Wahba (1978). Improper Priors, Spline Smoothing and the Problem of Guarding Against Model Errors in Regression. Journal of the Royal Statistical Society.
El suavizado por splines es un enfoque para ajustar curvas no paramétricas. Otro de los artículos de Wahba de este periodo se titula «An automatic French curve», en referencia a una clase de algoritmos que pueden ajustar curvas suaves arbitrarias a los datos sin sobreajustarse al ruido o a los valores atípicos. La idea puede parecer obvia hoy, pero supuso un gran avance en una época en la que los puntos de partida para el ajuste de curvas eran polinomios, exponenciales y otras formas fijas. Además de la aplicabilidad directa de los splines, este artículo fue importante desde el punto de vista teórico. Sirvió de base para trabajos posteriores en inferencia bayesiana no paramétrica al unificar ideas de regularización de modelos de alta dimensión.
4. Bradley Efron (1979). Bootstrap Methods: Another Look at the Jackknife. Annals of Statistics.
El bootstrap es un método para realizar inferencia estadística sin supuestos. Los datos se levantan por sus propios bootstraps, por así decirlo. Pero no se puede hacer inferencia sin supuestos; lo que hizo que el bootstrap fuera tan útil e influyente es que los supuestos venían implícitos con el procedimiento computacional: la idea, audazmente sencilla, de remuestrear los datos. Cada vez que repites el procedimiento estadístico se realiza sobre los datos originales. Como ocurre con muchos métodos estadísticos de los últimos 50 años, este se volvió ampliamente útil gracias a una explosión en la potencia de cálculo que permitió que las simulaciones reemplazaran al análisis matemático.
5. Alan Gelfand y Adrian Smith (1990). Sampling-based Approaches to Calculating Marginal Densities. Journal of the American Statistical Association.
Otra forma en que la computación rápida ha revolucionado la estadística y el aprendizaje automático es a través de los modelos bayesianos abiertos. Los modelos estadísticos tradicionales son estáticos: ajustar la distribución A a datos de tipo B. Pero el modelado estadístico moderno tiene una cualidad más parecida a un juego de construcción (Tinkertoy) que permite resolver de forma flexible problemas a medida que surgen, recurriendo a bibliotecas de distribuciones y transformaciones. Solo necesitamos herramientas computacionales para ajustar estos modelos ensamblados. En su influyente artículo, Gelfand y Smith no desarrollaron ninguna herramienta nueva; demostraron cómo el muestreo de Gibbs podía utilizarse para ajustar una amplia clase de modelos estadísticos. En las últimas décadas, el muestreador de Gibbs ha sido reemplazado por Hamiltonian Monte Carlo, el filtrado de partículas, el Bayes variacional y algoritmos más elaborados, pero el principio general de construcción modular de modelos se ha mantenido.
6. Guido Imbens y Joshua Angrist (1994). Identification and Estimation of Local Average Treatment Effects. Econometrica.
La inferencia causal es central en cualquier problema en el que la pregunta no es solo una descripción (¿Cómo han estado las cosas?) o una predicción (¿Qué ocurrirá después?), sino un contrafactual (Si hacemos X, ¿qué le ocurriría a Y?). Los métodos causales han evolucionado junto con el resto de la estadística y el aprendizaje automático mediante la exploración, el modelado y la computación. Pero el razonamiento causal tiene el desafío añadido de tratar con datos que son imposibles de medir (no puedes hacer X y no-X a la misma persona). Como resultado, una idea clave en este campo es identificar qué preguntas pueden responderse de forma fiable a partir de un experimento dado. Imbens y Angrist son economistas que escribieron un artículo influyente sobre lo que puede estimarse cuando los efectos causales varían, y sus ideas constituyen la base de gran parte del trabajo posterior sobre este tema.
7. Robert Tibshirani (1996). Regression Shrinkage and Selection Via the Lasso. Journal of the Royal Statistical Society.
En la regresión, es decir, la predicción de una variable de resultado a partir de un conjunto de entradas o características, el desafío radica en incluir muchas entradas junto con sus interacciones; el problema de estimación resultante se vuelve estadísticamente inestable debido a las numerosas formas diferentes de combinar estas entradas para obtener predicciones razonables. Las estimaciones clásicas de mínimos cuadrados o de máxima verosimilitud serán ruidosas y podrían no funcionar bien con datos futuros, por lo que se han desarrollado diversos métodos para restringir o «regularizar» el ajuste y así ganar estabilidad. En este artículo, Tibshirani presentó el lasso, un enfoque computacionalmente eficiente y hoy ampliamente utilizado para la regularización, que se ha convertido en una plantilla para la regularización basada en datos en modelos más complejos.
8. Leland Wilkinson (1999). The Grammar of Graphics.
En este libro, Wilkinson, un estadístico que ha trabajado en varios proyectos de software comercial influyentes, entre ellos SPSS y Tableau, establece un marco para los gráficos estadísticos que va más allá del enfoque habitual en los gráficos circulares frente a los histogramas, en cómo dibujar un diagrama de dispersión, y en la tinta de datos y la basura gráfica (chartjunk), para explorar de forma abstracta cómo se relacionan los datos y las visualizaciones. Este trabajo ha influido en la estadística por muchas vías, sobre todo a través de ggplot2 y la familia de paquetes tidyverse del lenguaje de programación R. Es un paso importante hacia la integración del análisis exploratorio de datos y de modelos en el flujo de trabajo de la ciencia de datos.
9. Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville y Yoshua Bengio (2014). Generative Adversarial Networks. Proceedings of the International Conference on Neural Information Processing Systems.
Uno de los logros asombrosos del aprendizaje automático en los últimos años es la toma de decisiones en tiempo real mediante retroalimentación de predicción e inferencia. Ejemplos famosos incluyen los coches autónomos y AlphaGo de DeepMind, que se entrenó a sí mismo hasta convertirse en el mejor jugador de Go del planeta. Las redes generativas antagónicas, o GAN, son un avance conceptual que permite resolver automáticamente problemas de aprendizaje por refuerzo. Marcan un paso hacia el objetivo de larga data de la inteligencia artificial general, al tiempo que aprovechan la potencia del procesamiento paralelo para que un programa pueda entrenarse jugando millones de partidas contra sí mismo. A nivel conceptual, las GAN vinculan la predicción con los modelos generativos.
10. Yoshua Bengio, Yann LeCun y Geoffrey Hinton (2015). Deep Learning. Nature.
El aprendizaje profundo es una clase de modelos de redes neuronales artificiales que pueden utilizarse para realizar predicciones no lineales flexibles empleando un gran número de características. Sus componentes básicos —la regresión logística, la estructura multinivel y la inferencia bayesiana— distan mucho de ser nuevos. Lo que hace que esta línea de investigación sea tan influyente es el reconocimiento de que estos modelos pueden ajustarse para resolver una variedad de problemas de predicción, desde el comportamiento del consumidor hasta el análisis de imágenes. Como ocurre con otros avances en estadística y aprendizaje automático, el proceso de ajuste solo fue posible con la llegada de la computación paralela rápida y de algoritmos estadísticos que aprovechan esta potencia para ajustar modelos grandes en tiempo real. Conceptualmente, todavía nos estamos poniendo al día con la potencia de estos métodos, por lo que existe tanto interés en el aprendizaje automático interpretable.
