Los macrodatos reciben mucha atención de los medios de comunicación, la industria y el Gobierno. Las empresas y los laboratorios generan enormes cantidades de datos relacionados con todo tipo de cuestiones, desde el clima hasta el uso de teléfonos móviles y los historiales médicos; cada conjunto de datos puede incluir cientos de variables.
Estos conjuntos son tan grandes y complejos que los métodos tradicionales para buscar patrones en ellos apenas permiten avanzar. A menudo se presentan como una solución milagrosa, y el análisis de datos ciertamente tiene potencial para abordar problemas que antes parecían intratables. Pero primero tenemos que ser capaces de determinar qué estamos observando.
Una recta de regresión puede mostrar la relación entre la estatura y el peso de un grupo de personas.
Jake, CC BY
En los cursos básicos de estadística siempre hay una o dos clases sobre regresión lineal: encontrar la recta que mejor se ajusta a un conjunto de puntos dispersos en un plano. Estos gráficos suelen aparecer, por ejemplo, en artículos sobre el cambio climático, donde se representan la temperatura y otros datos meteorológicos a lo largo del tiempo, o en previsiones económicas que utilizan los datos históricos de empleo o del PIB para extrapolar hacia el futuro.
Pero ¿qué ocurre si el conjunto de puntos no está cerca de una recta, sino que forma algo parecido a un círculo?
Un conjunto de puntos sobre un círculo (izquierda) y la recta que mejor se ajusta a ellos (derecha).
Kevin Knudson, CC BY-NC-ND
Está claro que la regresión no resulta útil en este contexto, pero solo lo sabemos porque podemos ver que los puntos forman un círculo.
Imaginemos ahora un conjunto de puntos situados en un círculo dentro de un espacio de dimensiones superiores. En tres dimensiones quizá podamos ver el círculo, pero si hay más variables, como suele ocurrir al examinar grandes conjuntos de datos, tenemos un problema. ¿Cómo podríamos detectar el círculo? Mejor aún: ¿cómo podríamos indicarle a una computadora que lo encuentre?
Estas son las preguntas que plantea el crecimiento de los macrodatos, y la topología algebraica ofrece algunas respuestas.
Cómo dar sentido espacial a los macrodatos
A veces se llama a la topología «geometría de la lámina de goma». Para un topólogo, una esfera y un cubo son lo mismo. Imaginemos un cubo hecho de un material flexible: si introducimos una pajita y soplamos, el cubo se inflaría hasta convertirse en una esfera. Este tipo de operaciones se llaman deformaciones, y se considera que dos objetos son iguales si uno puede deformarse hasta convertirse en el otro.
Los topólogos estudian los espacios asignándoles objetos algebraicos llamados invariantes . Pueden ser tan sencillos como un número entero, aunque a menudo son estructuras algebraicas más complejas. En el análisis de datos, el invariante elegido es la homología persistente.
La homología ordinaria mide el número de «agujeros» de un espacio que no se pueden rellenar. Pensemos otra vez en una esfera. Si dibujamos un lazo sobre ella, este delimita un disco bidimensional en la superficie; es decir, podemos rellenar cualquier lazo sobre la esfera, de modo que no hay «agujeros» bidimensionales. En cambio, la propia superficie de la esfera delimita un «agujero» tridimensional que no se puede rellenar.
Los números de Betti de un espacio cuentan cuántos de esos agujeros imposibles de rellenar hay en cada dimensión. El segundo número de Betti de una esfera es 1 (porque no se puede rellenar su interior) y el primero es 0 (porque cualquier lazo delimita un disco sobre la esfera). El número de Betti de orden cero cuenta cuántas partes tiene un espacio; en el caso de la esfera, tiene una. También existen versiones de dimensiones superiores para espacios más complejos.
El problema de utilizar la homología ordinaria para analizar datos es que, si calculamos la homología de un conjunto discreto de puntos, nos llevaremos una decepción. No hay agujeros, solo un conjunto de puntos desconectados. El número de Betti de orden cero contará cuántos puntos hay, pero, como en ese conjunto no hay lazos ni esferas, todos los números de Betti de orden superior serán 0. Aquí es donde entra en juego la homología persistente.
Tenemos que unir los puntos de nuestro conjunto discreto. Imaginemos que colocamos una pequeña bola de radio r alrededor de cada punto de nuestro conjunto de datos. Si r es muy pequeño, ninguna de las bolas se intersectará y los números de Betti del conjunto de bolas serán los mismos que los del conjunto discreto.
Sin embargo, si dejamos que r aumente, con el tiempo las bolas empezarán a tocarse y probablemente obtendremos números de Betti de orden superior distintos de cero. En la animación vemos que, cuando r alcanza cierto umbral, las bolas alrededor de los tres puntos superiores se intersectan por pares y, por tanto, contienen el triángulo que une los tres puntos. Además, no podemos rellenar el triángulo porque queda un pequeño hueco en el centro; esto significa que, en esa etapa, el primer número de Betti es 1. Pero, cuando r aumenta un poco más, las tres bolas se intersectan a la vez y podemos rellenar el triángulo; entonces, el primer número de Betti baja a 0.
La homología persistente sigue la evolución de estos números a medida que aumenta el radio; la gráfica de esos números en función del parámetro r se llama código de barras. Las barras largas sugieren características de los datos que pueden ser significativas ( persisten, de ahí el término). Las barras cortas suelen deberse al ruido en los datos y pueden descartarse (o no: el contexto es importante).
Así, hemos pasado de un conjunto discreto de puntos a una secuencia de espacios más complejos (uno por cada valor de r) que, con suerte, representan los datos mucho mejor de lo que podría hacerlo una regresión lineal sencilla.
Un círculo persiste en los espacios a medida que aumenta el radio de las bolas.
Kevin Knudson, CC BY-NC-ND
En la animación anterior mostramos cómo se podrían modelar de esta manera algunos puntos de un círculo. Hemos omitido las bolas alrededor de los puntos: conectamos dos puntos cuando sus respectivas bolas se superponen, formamos triángulos cuando se intersectan tres y así sucesivamente. El círculo persiste durante bastante tiempo, lo que nos lleva a suponer que nuestros datos se encuentran cerca de un círculo.
Aplicaciones más allá de la teoría
Gunnar Carlsson de la Universidad de Stanford es uno de los pioneros del análisis topológico de datos. Uno de los primeros logros de su grupo fue descubrir la topología del espacio de las imágenes naturales. Este conjunto de datos consta de varios millones de recortes de 3 por 3 píxeles tomados de fotografías digitales en blanco y negro. Cada píxel se representa con un número entre 0 y 255 que mide su valor en escala de grises; cada recorte de 3 por 3 corresponde entonces a un punto en un espacio de 9 dimensiones, donde cada coordenada representa el valor numérico del píxel correspondiente. Tras descartar los recortes uniformes y aplicar algunas normalizaciones, este espacio queda dentro de una esfera de 7 dimensiones. A primera vista, el conjunto parece llenar la esfera, pero la estructura se revela al centrarse en las zonas donde los puntos están más agrupados.
Carlsson y sus colaboradores demostraron que, en realidad, los datos se encuentran sobre una botella de Klein, una superficie bidimensional no orientable incrustada en la esfera. A partir de ahí, lograron encontrar un algoritmo de compresión de fotografías ligeramente mejor que el estándar de la industria, JPEG 2000. Carlsson ha publicado una excelente reseña de este trabajo.
A raíz de este éxito, Carlsson y algunos de sus colegas fundaron AYASDI, una empresa con una cartera creciente de clientes en los sectores bancario y financiero, el Gobierno y otras industrias. Utilizan estas y otras técnicas para analizar datos sobre la diabetes, el cáncer de mama y las enfermedades cardiopulmonares . Los resultados son alentadores: estas técnicas pueden detectar subgrupos de pacientes con altas tasas de supervivencia que son invisibles mediante los métodos estadísticos tradicionales.
Sin embargo, la verdadera promesa de estos métodos reside en la posibilidad de adaptar los tratamientos y las soluciones a cada persona. El análisis de grandes conjuntos de datos nos permite saber, por ejemplo, que un medicamento que se creía eficaz en un 80 % en realidad es eficaz al 100 % en el 80 % de los pacientes, que pueden identificarse mediante algún marcador. El análisis topológico de datos aporta otra herramienta para mejorar estos análisis y, a menudo, identifica características que antes permanecían ocultas.
Este artículo se publica en colaboración con The Conversation. La publicación no implica que el Foro Económico Mundial respalde estas opiniones.
Para estar al día de la Agenda, suscríbase a nuestro boletín semanal.
Autor: Kevin Knudson es profesor de matemáticas en la Universidad de Florida.
Imagen: Cables de alimentación cuelgan de las estructuras de servidores. REUTERS/Mike Segar.
