Utilizar macrodatos no estructurados e imperfectos puede tener mucho sentido cuando las empresas exploran oportunidades, como crear negocios basados en datos, o intentan comprender mejor a sus clientes, productos y mercados. Sin embargo, usar datos de mala calidad y mal gestionados para tomar decisiones de gestión de alto impacto es buscarse problemas. Basura entra, basura sale, como reza el viejo lema de la tecnología.
Antes, los datos residían únicamente en un sistema central gestionado y protegido por el departamento de TI. En este mundo de pequeños datos, era difícil obtener datos perfectos, pero las empresas podían acercarse bastante. Con los macrodatos, la calidad de los datos ha cambiado drásticamente. Gran parte de ellos llega en forma de lenguaje natural no estructurado y «ruidoso», como las actualizaciones de las redes sociales, o en numerosos formatos incompatibles procedentes de sensores, teléfonos inteligentes, bases de datos e Internet. Con un esfuerzo reducido, las empresas suelen poder encontrar una señal entre el ruido. Pero al mismo tiempo, pueden caer en la trampa de los datos defectuosos: pensar que los datos tienen mejor calidad de la que realmente tienen.
Las causas de los datos deficientes suelen incluir procesos defectuosos, políticas de datos ad hoc, escasa disciplina en la captura y el almacenamiento de datos, y proveedores externos de datos que escapan al control de la empresa. Sin duda, la gobernanza de datos debe convertirse en una prioridad para la alta dirección (C-suite). Pero por sí sola no bastará para poner en orden la calidad de los datos de la empresa. Las empresas deben adoptar un enfoque sistemático de lo que denominamos «gestión total de la calidad de los datos».
El impacto de los macrodatos defectuosos
Con frecuencia detectamos datos contradictorios, incorrectos o incompletos cuando trabajamos con empresas en proyectos intensivos en información. Sea cual sea el sector, a menudo las definiciones de datos de una empresa son incoherentes o se han perdido las descripciones de sus campos de datos (o metadatos), lo que reduce la utilidad de los datos para los analistas de negocio y los científicos de datos.
El uso de datos de mala calidad tiene diversas repercusiones. A veces, las discrepancias de datos entre distintas áreas de una empresa hacen que los directivos pierdan la confianza en la validez y la exactitud de los datos. Eso puede retrasar decisiones e iniciativas empresariales de importancia crítica. Otras veces, el personal desarrolla soluciones alternativas costosas para corregir los datos de mala calidad. Un importante banco contrató a 300 empleados a tiempo completo que corregían a diario los registros financieros. Este esfuerzo costaba 50 millones de dólares al año y prolongaba el tiempo necesario para cerrar los libros. En los peores casos, los clientes pueden sufrir un mal servicio, como errores de facturación, o la empresa puede padecer cuellos de botella en la cadena de suministro o productos y envíos defectuosos. El impacto se amplifica a medida que los datos erróneos se propagan por los procesos empresariales y alimentan decisiones deficientes en los niveles más altos. (Véase la Exhibición 1.)
En particular, las empresas pierden habitualmente oportunidades porque utilizan macrodatos de mala calidad para tomar grandes decisiones ejecutivas. A partir de nuestra experiencia con 35 empresas, calculamos que el uso de macrodatos de mala calidad sacrifica el 25 por ciento del potencial completo al tomar decisiones en áreas como la segmentación de clientes, la reducción de impagos, la venta cruzada y la fijación de precios. Nuestros cálculos muestran que los ingresos y el beneficio antes de intereses, impuestos, depreciación y amortización podrían haber sido un 10 por ciento más altos si estas empresas hubieran tenido datos de mejor calidad.
Una institución financiera mundial llevó a cabo un proyecto piloto de macrodatos e identificó lo que consideraba una oportunidad de fijación de precios para aumentar los márgenes en más de 50 millones de dólares al año, es decir, el 10 por ciento de los ingresos. Sin embargo, los datos subyacentes contenían solo partidas de facturas; faltaban metadatos importantes sobre cómo el banco había calculado y aplicado las comisiones. Durante los tres meses que tardó en corregir los problemas de calidad de los datos e implementar la estrategia de precios, la empresa perdió más de una cuarta parte de sus beneficios potenciales del primer año, equivalentes a al menos 15 millones de dólares. También perdió agilidad para aprovechar una oportunidad importante.
En tiempos más sencillos, empresas como esta podían basar sus decisiones en unos pocos conjuntos de datos, relativamente fáciles de verificar. Hoy en día, las organizaciones incorporan miles de variables en sus modelos, lo que puede resultar demasiado complejo para verificar la exactitud de cada una. Algunos modelos son tan difíciles de entender que los directivos sienten que deben confiar a ciegas en la lógica y en los datos de entrada.
Cómo salir de la trampa
A medida que la información se convierte en un activo empresarial clave con potencial para generar ingresos a partir de conocimientos basados en datos, las empresas deben cambiar de forma fundamental su enfoque de la calidad de los datos. (Véase “Seven Ways to Profit from Big Data as a Business,” artículo de BCG, marzo de 2014.) Al igual que con otros cambios fundamentales, deben transformarse las mentalidades, no solo la tecnología.
Sin embargo, las empresas a menudo tienen dificultades para priorizar los problemas de calidad de los datos o sienten que deben abordar todos sus problemas a la vez. En cambio, proponemos que los directivos sigan estos siete pasos hacia la gestión total de la calidad de los datos, un enfoque probado con el tiempo que sopesa los nuevos usos específicos de los datos frente a sus beneficios empresariales.
Identifique las oportunidades. Para encontrar nuevos usos de los datos, empiece preguntándose: “¿Qué preguntas queremos responder?” Un enfoque sistemáticamente creativo, que llamamos “pensar en nuevas cajas”, puede ayudar a desbloquear ideas nuevas cuestionando los supuestos cotidianos. Otros enfoques, como el análisis de las fuentes de datos, los KPI empresariales y los “puntos de dolor”, pueden ser fuentes ricas de inspiración. (Véase la colección de artículos “Big Data and Beyond” para ver una muestra de oportunidades de alto impacto en diversos sectores.)
Tras identificar una lista de posibles usos de los datos —como determinar qué clientes podrían comprar productos adicionales—, priorice los usos sopesando los beneficios frente a la viabilidad. Comience por las oportunidades que podrían tener el mayor impacto en los resultados. Asegúrese de evaluar los beneficios con múltiples criterios, como el valor que puede crear un uso de los datos, los nuevos productos o servicios que pueden desarrollarse o los problemas regulatorios que pueden abordarse. Después, considere los usos de los datos en función de la viabilidad técnica, organizativa y de administración de datos (data stewardship). Observe también cómo encaja el uso de los datos en la cartera de proyectos existente de la empresa.
Determine los tipos y la calidad de datos necesarios. Aprovechar las oportunidades puede requerir múltiples tipos de datos, como datos internos y de terceros, así como múltiples formatos, como estructurados y no estructurados. Sin embargo, antes de lanzarse al análisis, los mejores científicos de datos y directivos de negocio miden la calidad de los datos requeridos a lo largo de una serie de dimensiones, entre ellas las siguientes:
Validez: grado en que los datos se ajustan a criterios lógicos
Completitud: grado en que los datos necesarios para tomar decisiones, realizar cálculos o hacer inferencias están disponibles
Consistencia: grado en que los datos son iguales en su definición, reglas de negocio, formato y valor en cualquier momento
Exactitud: grado en que los datos reflejan la realidad
Actualidad: grado en que los datos reflejan la información más reciente disponible
Cada dimensión debe ponderarse según los beneficios empresariales que aporte, como se explica en el paso anterior. También recomendamos que las empresas utilicen un estándar de calidad de varios niveles. Por ejemplo, las aplicaciones financieras requieren datos de alta calidad; en cambio, para las aplicaciones de agrupación de productos y venta cruzada, unos datos buenos pueden ser suficientes.
Defina objetivos de mejora claros. El proceso de evaluación de datos proporciona una línea base a partir de la cual mejorar la calidad de los datos. Para cada fuente de datos, determine el estado objetivo por dimensión de calidad de datos.
Un análisis de brechas puede revelar la diferencia entre la línea base y el estado objetivo de cada fuente de datos, y puede servir de base para un plan de acción que mejore cada dimensión de calidad de los datos. Las brechas pueden hacerse visibles y seguirse mediante un cuadro de mando que codifica por colores el desempeño en cada una de las principales dimensiones de calidad de datos. (Véase la Exhibición 2.)
Elabore el caso de negocio. La calidad de los datos tiene un precio. Para argumentar a favor de datos empresariales de mejor calidad, las empresas deben cuantificar los costes, tanto directos como indirectos, de usar datos deficientes, así como el potencial de usar datos de buena calidad.
Los costes directos pueden incluir, por ejemplo, gastos adicionales de personal derivados de procesos ineficientes, tasas de limpieza y facturas de datos de terceros. Los costes indirectos pueden derivarse de decisiones erróneas, la falta de confianza en los datos, las oportunidades perdidas, la pérdida de agilidad en la ejecución de proyectos y el incumplimiento de requisitos regulatorios, entre otros factores.
El beneficio de los datos de alta calidad puede ser significativo, como deja claro la priorización de determinados usos. Por ejemplo, la microsegmentación permite a las empresas llegar a «segmentos de uno», lo que puede propiciar una mejor fijación de precios y promociones más eficaces, con márgenes notablemente mejorados. Cuanto más exactos sean los datos, más se acercará una oferta al objetivo. Por ejemplo, un operador de telecomunicaciones asiático empezó a generar ofertas personalizadas mediante modelos de macrodatos sobre la propensión de sus clientes a comprar. El enfoque ha reducido en un 80 por ciento la tasa de abandono entre sus clientes de mayor valor en 18 meses.
Con los costes y beneficios en mano, la dirección puede empezar a construir el caso para cambiar lo que importa al negocio. Solo entonces las empresas podrán implantar los controles, las personas y los procesos adecuados.
Erradique las causas de los datos deficientes. Muchas personas creen que gestionar la calidad de los datos consiste simplemente en eliminar los datos erróneos de las fuentes internas y externas. Sin embargo, las personas, los procesos y la tecnología también afectan a la calidad de los datos. Los tres pueden permitir que los datos deficientes se acumulen. Por ejemplo, hemos visto empresas que dedican enormes cantidades de tiempo y dinero a limpiar datos durante el día que luego se sobrescriben por la noche.
Ciertos tipos de problemas de calidad de los datos pueden y deben corregirse en origen, incluidos los relacionados con la información financiera y las métricas operativas. Para ello, las empresas pueden necesitar resolver desafíos organizativos fundamentales, como la falta de incentivos para hacer las cosas bien a la primera. Por ejemplo, un agente de un centro de llamadas puede tener incentivos para introducir la información del cliente con rapidez, pero no necesariamente con exactitud, lo que da lugar a costosos errores de facturación. Ni la dirección ni el personal de introducción de datos perciben lo que el socio sénior de BCG Yves Morieux denomina la «sombra del futuro»: en este caso, que introducir datos inexactos afecta negativamente a la experiencia global del cliente. Las empresas también pueden simplificar los modelos de datos y reducir al mínimo las interacciones manuales con ellos mediante enfoques como el «zero-touch processing» (procesamiento sin intervención manual).
No siempre es posible o rentable corregir en origen todos los problemas de calidad de los datos, como los asociados a los datos externos. En tales casos, las empresas podrían emplear un middleware que traduzca eficazmente los «datos deficientes» en «datos utilizables». Como ejemplo, a menudo los datos estructurados de un sistema de cuentas por pagar no incluyen detalle suficiente para entender el producto exacto que se compra. ¿Una factura codificada como «informática» corresponde a un ordenador de sobremesa o a un portátil? Entre las soluciones alternativas se encuentran las herramientas de análisis de texto que leen el texto de la factura, clasifican la compra y convierten esa clasificación en una regla o modelo. El enfoque puede ser suficientemente bueno para los usos previstos y mucho más rentable que reconstruir por completo una estructura de datos de software empresarial.
Asigne un responsable empresarial a los datos. Los datos deben tener un propietario para alcanzar una alta calidad. Las empresas no pueden externalizar este paso. Alguien del lado del negocio debe ser responsable de los datos, marcar el ritmo del cambio y contar con el respaldo de la alta dirección (C-suite) y del consejo de administración para resolver problemas complejos.
Muchas organizaciones piensan que, si definen un nuevo puesto, como un responsable de calidad de datos, sus problemas quedarán resueltos. Un responsable de calidad de datos es una buena opción para medir y supervisar el estado de la calidad de los datos, pero eso no es todo lo que debe hacerse, por lo que muchas empresas crean el puesto de propietario empresarial de datos. La persona que ocupa este cargo garantiza que los datos sean de alta calidad y se utilicen de forma estratégica en toda la organización.
Entre otras responsabilidades, el propietario empresarial de datos responde de la definición global de los modelos de información de extremo a extremo. Los modelos de información incluyen los datos maestros, los estándares de datos transaccionales y los metadatos del contenido no estructurado. El propietario se centra en los entregables y beneficios empresariales, no en la tecnología. La propiedad empresarial de los datos debe situarse en un nivel suficientemente alto como para ayudar a priorizar la cuestión de la calidad y generar apoyo, pero lo bastante cerca de los detalles como para propiciar un cambio significativo. La transformación necesaria es, en ocasiones, bastante fundamental para el negocio.
Los propietarios también deben garantizar que la calidad de los datos siga siendo transparente. Las empresas deberían fijarse como objetivo el 100 por ciento en todas las dimensiones de calidad para los datos de clientes, como nombres y direcciones, y hacer que esos datos sean accesibles mediante un sistema como un «virtual data mart» distinto del almacenamiento de datos de menor calidad, como las puntuaciones de reputación.
Escale lo que funciona. Los proyectos de calidad de datos suelen encontrar problemas cuando las empresas los amplían a toda la organización. Demasiados proyectos de macrodatos seleccionan a dedo los datos de mejor calidad para los proyectos piloto. Cuando llega el momento de aplicar los conocimientos a áreas con niveles de datos deficientes mucho más altos, los proyectos se hunden.
Para evitar el síndrome del «gran programa», empiece poco a poco, mida los resultados, gane confianza en las soluciones eficaces e itere con rapidez para mejorar lo que funciona. Pero no pierda de vista el objetivo final: generar un impacto empresarial medible con datos fiables y de alta calidad.
Consideremos el recorrido de una empresa internacional de bienes de consumo que quiere convertirse en una empresa en tiempo real que aproveche datos de alta calidad. Antes de iniciar la transformación, la empresa tenía un nivel mínimo de gobernanza de datos. Los datos estaban encerrados en sistemas y plataformas de TI competidores repartidos por la organización. La empresa tenía capacidades limitadas de supervisión del rendimiento en tiempo real y se basaba principalmente en cuadros de mando y paneles estáticos. No contaba con ningún equipo de analítica avanzada en toda la empresa.
Para habilitar una estrategia de gestión total de la calidad de los datos, el director general creó una organización central de gestión de la información empresarial (EIM), un elemento importante de la estrategia plurianual para desarrollar datos en los que la empresa pudiera confiar. La empresa empieza ahora a centralizar los datos en una única fuente de alta calidad y disponible bajo demanda, mediante un proceso de recopilación de datos maestros «one touch». Parte del plan consiste también en mejorar la velocidad y la toma de decisiones con un cuadro de mando en tiempo real de información fiable sobre clientes, accesible para miles de directivos mediante un conjunto estandarizado de los 25 KPI principales. Y la compañía está lanzando un programa piloto en analítica avanzada que actúe como incubadora para desarrollar capacidades de macrodatos en sus unidades de negocio y abrir un camino hacia un crecimiento adicional. Por último, está creando un puesto de propietario empresarial de datos que será responsable de gobernar, diseñar y mejorar el modelo de información de la empresa.
Esta transformación plurianual se autofinanciará íntegramente con mejoras de eficiencia, como una reducción proyectada del 50 por ciento en el número de empleados que manejan los datos maestros y un descenso del 20 al 40 por ciento en el número de personal a tiempo completo dedicado a la gestión de la información.
El imperativo de la calidad de los datos
Los datos de mala calidad siempre han perjudicado a las empresas. Pero con el auge de los macrodatos, las empresas corren el riesgo de amplificar el impacto de las imprecisiones y los errores subyacentes y caer en la trampa de los macrodatos defectuosos.
Las empresas inteligentes empiezan a adoptar un enfoque integral de extremo a extremo para la calidad de los datos. Los resultados de estas transformaciones pueden ser realmente considerables.
Este artículo se publica en colaboración con BCG Perspectives. La publicación no implica el respaldo de las opiniones por parte del Foro Económico Mundial.
Para estar al día de la Agenda, suscríbase a nuestro boletín semanal.
Autor: David Opolon es Principal de BCG en Boston. Tamim Saleh es Socio Sénior y Director Gerente de BCG en Londres. Erik Lenhard es Principal de BCG en Múnich. Nic Gordon es Director Asociado de BSG en Londres.
Imagen: una ilustración muestra una proyección de código binario sobre un hombre que sostiene un portátil. REUTERS
