Cómo se cuelan las imprecisiones en el big data

Cómo se cuelan las imprecisiones en el big data
Este contenido ha sido traducido automáticamente con IA.

Popularmente conocidos como «Big Data», los enormes conjuntos de información sobre casi todos los aspectos de nuestra vida han despertado un gran entusiasmo por lo que puede extraerse del análisis de estos diversos conjuntos de datos. Los beneficios van desde una mejor asignación de recursos, ya sea para servicios gubernamentales o para promociones comerciales, hasta tratamientos médicos más eficaces. Sin embargo, solo a partir de datos precisos y completos pueden obtenerse conocimientos reales, por lo que es fundamental tener en cuenta cómo se recopilaron los datos.

Los científicos de datos conocen la importancia de contar con datos precisos y completos. Al fin y al cabo, si los propios datos no son fiables, se acaban extrayendo conclusiones no válidas a partir del análisis.

Para evitar ese escollo, uno de los principales costes de la mayoría de los proyectos de análisis de datos procede de la preparación y depuración de datos – es decir, encontrar y corregir errores en los datos. Entre estos errores se incluyen valores incorrectos, entradas ausentes, aliasing (cuando la información sobre dos entidades distintas se ha fusionado por error, por ejemplo, porque dos personas tienen el mismo nombre) y entradas múltiples (cuando la información sobre una misma entidad aparece fragmentada, por ejemplo, porque el nombre de una misma persona se ha escrito de forma distinta). Cuando los conjuntos de datos son pequeños, el analista puede examinar y validar manualmente cada entrada. Con conjuntos de datos grandes, debemos recurrir a algoritmos ejecutados por computadora. El desarrollo de estos algoritmos es hoy un subcampo en sí mismo.

El viejo adagio «basura entra, basura sale» es más pertinente que nunca en esta era de conjuntos de datos complejos y gigantescos, y de las a veces graves consecuencias de confiar en lo que parecen implicar.

Cómo se cuelan las imprecisiones

Los errores en los datos pueden surgir por diversas razones. Por ejemplo, los usuarios suelen cometer equivocaciones al completar formularios web. El software de depuración de datos puede verificar que el código postal coincide con la dirección y, posiblemente, incluso corregirlo. Así, si el estado se ha introducido junto con la localidad en el campo de ciudad (por ejemplo, «Plainfield, NJ» como ciudad), la depuración puede trasladar la entrada del estado al campo correcto. O si una calle solo tiene números de casa del 1–80, el software de depuración puede marcar como errónea una casa introducida como «125». Muchos errores involuntarios pueden detectarse y, posiblemente, corregirse mediante software inteligente.

La mala introducción de datos no es la única fuente de imprecisiones. Un lugar común donde surgen errores es al vincular datos entre distintos conjuntos. A menos que ambos conjuntos utilicen un identificador único –como un número de seguridad social– en cada registro, resulta difícil cotejar entradas entre conjuntos de datos: es probable que haya entradas que terminen vinculadas aunque deberían ser distintas, y entradas que no se vinculan aunque sí se corresponden.

Otra fuente frecuente de errores es cuando el software informático crea entradas en las tablas a partir de otros datos más complejos. Por ejemplo, si uno escribe una reseña de un producto, esta puede condensarse en una de unas pocas categorías (p. ej., me encantó, me gustó o no me gustó) a lo largo de unos pocos ejes sencillos (p. ej., ambiente, sabor de la comida, servicio y relación calidad-precio). La forma condensada es susceptible de análisis cuantitativo, algo que no ocurre con el texto original. Pero pueden cometerse errores durante el proceso de condensación.

Al menos, no incitar a las personas a mentir

Los datos sucios son casi imposibles de limpiar cuando los errores se deben a una elección intencionada del usuario y no a causas involuntarias. Supongamos que uno introduce la dirección de su vecino como si fuera la propia: un software inteligente no puede detectar esta mentira sin saber más sobre esa persona; después de todo, la dirección introducida es técnicamente válida, solo que no es correcta.

Si queremos confiar en los resultados de un análisis, debemos asegurarnos de que los procedimientos de recopilación de datos, como mínimo, no den a los usuarios incentivos para hacer trampa.

Pensemos en los formularios web que piden de forma rutinaria información sobre nosotros mismos. Muchos usuarios introducen una dirección de correo electrónico falsa en estos formularios, quizá por temor al correo no deseado. Algunos sitios web confirman la dirección introducida, por ejemplo, enviando un enlace de verificación que el usuario debe pulsar. Pero esa verificación es costosa y poco amigable. El enfoque complementario consiste en que el sitio web se gane una reputación de confiabilidad, de modo que los usuarios estén dispuestos a compartir sus direcciones de correo sin preocuparse por un posible uso indebido.

De hecho, las personas (y las empresas y otras entidades) solo proporcionarán datos correctos y completos si sienten que pueden confiar en la recopilación de datos. La US Census Bureau puede recopilar datos de alta calidad porque puede garantizar a los ciudadanos que lo que informen en el censo no se utilizará para la recaudación de impuestos ni para ningún otro fin gubernamental similar, distinto de la elaboración de estadísticas. Si bien podría ser deseable detectar a los evasores fiscales, y es evidente que los datos del censo podrían aumentar enormemente la capacidad del gobierno para identificarlos, las leyes de la mayoría de los países impiden ese uso de los datos del censo, porque en el momento en que los ciudadanos sepan que los datos del censo pueden utilizarse para calcular impuestos, tendrán motivos para mentir al encuestador del censo.

Los macrodatos no pueden vencer los incentivos para mentir cuando hay mucho en juego

Quizá no le importe realmente si recibe o no el correo semanal personalizado con las ofertas de un supermercado local que pudieran interesarle. Pero sin duda hay otros casos en los que lo que está en juego con la precisión de los macrodatos es mucho mayor.

Por ejemplo, considere la actual atención en torno a las leyes alemanas de privacidad centrada en la salud mental del piloto Andreas Lubitz. Según las informaciones, él estrelló intencionadamente un avión contra los Alpes y mató a 150 personas en marzo. Dado su estado de salud mental, probablemente no debería haber pilotado un avión. Algunas personas sostienen que su empleador, Lufthansa, empresa matriz de Germanwings, debería haber tenido acceso completo al historial de salud mental de Lubitz y, por tanto, haber podido impedir que subiera a la cabina antes de que tuviera oportunidad de provocar la caída de un vuelo.

Pero debilitar las leyes de privacidad no revelaría a las autoridades la verdadera salud mental de personas como Lubitz. Más bien, haría menos probable que el historial médico oficial sea un registro fiable de los hechos. Alguien como Lubitz, que está empeñado en volar y sueña con ser piloto, probablemente haría todo lo posible por ocultar cualquier afección que lo inhabilitara en su historial médico oficial si supiera que podría usarse en su contra. El incentivo para omitir y falsear socavaría la capacidad de recopilar y usar un conjunto de datos fiable. En este caso, se sacrificaría la privacidad sin ningún beneficio para la seguridad. Es mucho mejor mantener limpios los datos del historial médico y certificar a los pilotos mediante pruebas realizadas fuera del sistema médico formal.

Es excelente que, como sociedad, aprovechemos todos los recursos de datos de que disponemos. Pero es importante no echar a perder la calidad de este recurso en nuestro entusiasmo por utilizarlo, aunque sea con buenas intenciones. Si no somos cuidadosos con la forma en que desplegamos estos grandes conjuntos de datos, recopilaremos datos de mala calidad, en especial donde existen puntos de especial preocupación, como el historial de salud de Lubitz. Las inferencias que extraemos de los macrodatos solo son tan buenas como los puntos de datos individuales que introducimos.

Este artículo se publica en colaboración con The Conversation. La publicación no implica el respaldo de las opiniones por parte del Foro Económico Mundial.

Para estar al día con la Agenda, suscríbase a nuestro boletín semanal.

Autor: H V Jagadish es catedrático Bernard A Galler de Ingeniería Eléctrica e Informática en la University of Michigan.

Imagen: Una lupa frente a una pantalla de computadora en esta ilustración fotográfica tomada en Berlín el 21 de mayo de 2013. REUTERS/Pawel Kopczynski.

Compartir esto:

Licencia y republicación
Los artículos del Foro Económico Mundial pueden volver a publicarse de acuerdo con la Licencia Pública Internacional Creative Commons Reconocimiento-NoComercial-SinObraDerivada 4.0, y de acuerdo con nuestras condiciones de uso. Las opiniones expresadas en este artículo son las del autor y no del Foro Económico Mundial.