El grupo de Devavrat Shah, del Laboratorio de Sistemas de Información y Decisión (LIDS) del MIT, se especializa en analizar cómo las redes sociales procesan la información. En 2012, el grupo presentó algoritmos capaces de predecir qué temas serían tendencia en Twitter con hasta cinco horas de antelación; este año, utilizaron el mismo marco para predecir las fluctuaciones de los precios de la moneda en línea conocida como Bitcoin.
El próximo mes, en la Conferencia sobre Sistemas de Procesamiento de Información Neural, presentarán un artículo que aplica su modelo a los motores de recomendación habituales en sitios web como Amazon y Netflix, con resultados sorprendentes.
«Nuestro interés era que teníamos un buen modelo para entender el procesamiento de datos a partir de datos sociales», dice Shah, profesor asociado Jamieson de Ingeniería Eléctrica y Ciencias de la Computación. «Tiene sentido en cuanto a cómo las personas toman decisiones, manifiestan preferencias o actúan. Así que pongámoslo en práctica y diseñemos un algoritmo de recomendación mejor, sencillo y básico, y será algo muy distinto. Pero resulta que, según ese modelo, el algoritmo de recomendación estándar es lo adecuado».
El algoritmo estándar se conoce como «filtrado colaborativo». Para hacerse una idea de cómo funciona, imagine un servicio de streaming de películas que permite a los usuarios puntuar las películas que han visto. Para generar recomendaciones específicas para usted, el algoritmo asignaría primero puntuaciones de similitud a los demás usuarios según el grado de coincidencia entre sus puntuaciones y las suyas. Luego, para predecir su reacción ante una película concreta, agregaría las puntuaciones que otros usuarios dieron a la película, ponderadas según las puntuaciones de similitud.
Para simplificar su análisis, Shah y sus colaboradores —Guy Bresler, investigador posdoctoral en LIDS, y George Chen, estudiante de posgrado del Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) del MIT, cuyo codirector de tesis es Shah junto con la profesora asociada de EECS Polina Golland — supusieron que el sistema de puntuación tenía dos valores: pulgar hacia arriba o pulgar hacia abajo. Así, el gusto de cada usuario podía describirse con absoluta precisión mediante una cadena de unos y ceros, donde la posición en la cadena corresponde a una película concreta y el número en esa posición indica la puntuación.
Dios los cría y ellos se juntan
El modelo de los investigadores del MIT supone que grandes grupos de estas cadenas pueden agruparse en conglomerados y que esos conglomerados pueden describirse probabilísticamente. En lugar de unos y ceros en cada posición de la cadena, un modelo probabilístico de conglomerados incluiría probabilidades: un 80 % de probabilidad de que a los miembros del conglomerado les guste la película «A», un 20 % de que les guste la película «B», y así sucesivamente.
La pregunta es cuántos conglomerados de este tipo se necesitan para caracterizar una población. Si a la mitad de quienes disfrutan de «La jungla de cristal» también les gusta «Shakespeare enamorado», pero la otra mitad la detesta, lo ideal sería dividir a los fans de «La jungla de cristal» en dos conglomerados. De lo contrario, se perderían correlaciones entre sus preferencias que podrían ser útiles para hacer predicciones. Por otra parte, cuantos más conglomerados haya, más puntuaciones se necesitan para determinar a cuál pertenece un usuario. Hacer predicciones fiables a partir de datos limitados se vuelve imposible.
En su nuevo artículo, los investigadores del MIT muestran que, siempre que el número de conglomerados necesarios para describir la variación de una población sea bajo, el filtrado colaborativo produce predicciones casi óptimas. Pero, en la práctica, ¿cuán bajo debe ser ese número?
Para responder a esa pregunta, los investigadores examinaron datos de 10 millones de usuarios de un sitio de streaming de películas e identificaron a 200 que habían puntuado las mismas 500 películas. Descubrieron que, de hecho, bastaban solo cinco conglomerados —cinco modelos probabilísticos— para explicar la mayor parte de la variación de la población.
Vínculos ausentes
Aunque el modelo de los investigadores confirma la eficacia del filtrado colaborativo, también sugiere formas de mejorarlo. En general, cuanta más información sobre las preferencias de los usuarios tenga un algoritmo de filtrado colaborativo, más precisas serán sus predicciones. Pero no toda información adicional es igual de útil. Si a un usuario le gusta «El padrino», saber que también le gusta «El padrino: Parte II» probablemente tendrá menos poder predictivo que saber que también le gusta «El diario de Noa».
Con su marco analítico, los investigadores de LIDS muestran cómo seleccionar un pequeño número de productos que contienen una cantidad desproporcionada de información sobre los gustos de los usuarios. Si el proveedor del servicio recomendara esos productos a todos sus clientes, podría, a partir de las puntuaciones resultantes, clasificarlos en conglomerados probabilísticos de manera mucho más eficiente, lo que debería mejorar la calidad de sus recomendaciones.
Sujay Sanghavi, profesor asociado de Ingeniería Eléctrica e Informática en la Universidad de Texas en Austin, considera que este es el aspecto más interesante de la investigación. «Cuando se hace algún tipo de filtrado colaborativo, ocurren dos cosas», dice. «Yo obtengo valor como usuario, pero otras personas también lo obtienen. Potencialmente, hay una disyuntiva entre ambas cosas. Si una película es popular, se puede demostrar fácilmente que me gustará, pero eso no mejorará las recomendaciones para otras personas».
Esa disyuntiva, dice Sanghavi, «se ha examinado en un contexto empírico, pero no había nada basado en principios. Para mí, lo atractivo de este artículo es que aborda esta cuestión desde principios, algo que ningún otro trabajo ha hecho. Han encontrado un nuevo tipo de problema. Están examinando una cuestión nueva».
Publicado en colaboración con MIT News
Autor: Larry Hardesty es colaborador invitado de MIT News.
Imagen: Una ilustración muestra una proyección de código binario alrededor de la silueta de un hombre que sostiene una computadora portátil en una oficina de Varsovia, el 24 de junio de 2013. REUTERS/Kacper Pempel