Probablemente hayas oído hablar del almacenamiento de datos, pero ahora hay una expresión más reciente que circula y que seguramente oirás con más frecuencia en el futuro si trabajas con macrodatos: «lagos de datos».
¿Qué son, entonces? La mejor manera de describirlos es compararlos con los almacenes de datos, porque la diferencia es muy similar a la que hay entre guardar algo en un almacén y guardarlo en un lago.
En un almacén, todo se archiva y ordena de una manera definida: los productos están dentro de contenedores, los contenedores en estanterías, las estanterías en filas, y así sucesivamente. Así es como se almacenan los datos en un almacén de datos tradicional.
En un lago de datos, todo simplemente se vierte sin estructura. Una molécula de agua del lago es igual a cualquier otra y puede trasladarse a cualquier parte del lago, donde se sentirá igual de cómoda.
Esto significa que los datos de un lago tienen mucha agilidad —otra palabra que se usa cada vez más hoy en día—, ya que pueden configurarse o reconfigurarse según sea necesario, en función de la tarea que se quiera realizar con ellos.
Un lago de datos contiene datos en su forma más pura: recién capturados y sin alterar por el procesamiento o el análisis.
Utiliza lo que se conoce como almacenamiento basado en objetos, porque cada dato individual se trata como un objeto, compuesto por la propia información, empaquetada junto con sus metadatos asociados, y un identificador único.
Ningún dato es de «nivel superior» a otro, porque no se trata de un sistema de archivo jerárquico, como un almacén: básicamente, todo vale, igual que las moléculas de agua en un lago.
Se cree que el término fue utilizado por primera vez en 2011 por James Dixon, CTO de Pentaho, quien no inventó el concepto, pero sí dio nombre al tipo de soluciones innovadoras de arquitectura de datos que empresas como Google y Facebook estaban poniendo en práctica.
No tardó mucho en aparecer el nombre en materiales de marketing. Pivotal se refiere a su producto como un «lago de datos empresariales», y Hortonworks lo incluye en el nombre de su servicio, Hortonworks Datalakes.
Se espera que esta práctica se popularice en el futuro, a medida que más organizaciones conozcan la mayor agilidad que ofrece almacenar datos en lagos de datos en lugar de en bases de datos con una jerarquía rígida.
Por ejemplo, la forma en que se almacenan los datos en una base de datos (su «esquema») suele definirse en las primeras etapas del diseño de una estrategia de datos. Las necesidades y prioridades de la organización bien pueden cambiar con el tiempo.
Una manera de entenderlo es que los datos almacenados sin estructura pueden adaptarse más rápidamente a la forma que se necesite que si primero hay que desmontar la estructura anterior para volver a montarlos.
Otra ventaja es que cualquier persona de la organización tiene acceso a los datos, que pueden analizarse y consultarse con distintas herramientas e interfaces, según convenga para cada tarea.
También significa que todos los datos de una organización se guardan en un solo lugar, en vez de mantener almacenes de datos separados para cada departamento o aplicación, como suele ocurrir.
Esto conlleva ventajas e inconvenientes: por un lado, simplifica las auditorías y el cumplimiento normativo, porque solo hay que gestionar un almacén. Por otro, mantener «todos los huevos en una sola cesta» tiene evidentes implicaciones para la seguridad.
Los lagos de datos suelen construirse dentro del marco de Hadoop, ya que los conjuntos de datos que los componen son «grandes» y requieren la capacidad de almacenamiento que ofrecen los sistemas distribuidos.
Por ahora, gran parte de esto es teórico, porque son muy pocas las organizaciones que están listas para pasar a guardar todos sus datos en un lago. Muchas están atascadas en un «pantano de datos»: mezclas de tierra y agua difíciles de recorrer, donde sus datos se han almacenado de diversas maneras descoordinadas a lo largo de los años.
Y, por supuesto, también tiene detractores: algunos dicen que el propio nombre es un problema (y me inclino a estar de acuerdo), pues da a entender una falta de conciencia arquitectónica, cuando lo que realmente se necesita al diseñar nuevas soluciones es considerar la arquitectura de datos con más cuidado.
Pero, para bien o para mal, probablemente oirás hablar más de este término en un futuro próximo si trabajas con macrodatos e inteligencia empresarial.
¿Estás listo para zambullirte de cabeza en el lago de datos o prefieres mantener tus datos a buen recaudo y lejos del agua?
Este artículo se publica en colaboración con Smart Data Collective. La publicación no implica que el Foro Económico Mundial respalde las opiniones expresadas.
Para estar al día de la Agenda, suscríbete a nuestro boletín semanal.
Autor: Bernard Marr es un experto en macrodatos y analítica reconocido a nivel mundial.
Imagen: Una imagen muestra cables en la parte trasera de un superordenador. REUTERS/Thomas Peter.
