La memoria de acceso aleatorio, o RAM, es donde los ordenadores prefieren almacenar los datos con los que están trabajando. Un procesador puede recuperar datos de la RAM decenas de miles de veces más rápido que de la unidad de disco del ordenador.
Pero en la era del big data, los conjuntos de datos suelen ser demasiado grandes para caber en la RAM de un solo ordenador. Los datos que describen un único genoma humano ocuparían la RAM de entre 40 y 100 ordenadores típicos.
La memoria flash —el tipo de memoria que utiliza la mayoría de los dispositivos portátiles— podría ser una alternativa a la RAM convencional para aplicaciones de big data. Cuesta alrededor de una décima parte y consume alrededor de una décima parte de la energía.
El problema es que también es una décima parte de rápida. Pero en el Simposio Internacional de Arquitectura de Computadoras, celebrado en junio, investigadores del MIT presentaron un nuevo sistema que, para varias aplicaciones comunes de big data, debería hacer que los servidores que usan memoria flash sean tan eficientes como los que usan RAM convencional, conservando al mismo tiempo sus ahorros de energía y de coste.
Los investigadores también presentaron pruebas experimentales que muestran que, si los servidores que ejecutan un cálculo distribuido tienen que acudir al disco para obtener datos incluso el 5 por ciento del tiempo, su rendimiento cae a un nivel comparable con el de la memoria flash, de todos modos.
En otras palabras, incluso sin las nuevas técnicas de los investigadores para acelerar la recuperación de datos de la memoria flash, 40 servidores con 10 terabytes de RAM no podrían manejar un cálculo de 10,5 terabytes mejor que 20 servidores con 20 terabytes de memoria flash, que consumirían solo una fracción de la energía.
“Esto no es un reemplazo de la DRAM [RAM dinámica] ni nada parecido —dice Arvind, profesor Johnson de Ciencias de la Computación e Ingeniería en el MIT, cuyo grupo llevó a cabo el nuevo trabajo—. “Pero puede que haya muchas aplicaciones que puedan aprovechar este nuevo estilo de arquitectura. Lo que reconocen las empresas: todo el mundo está experimentando con distintos aspectos de la memoria flash. Solo intentamos establecer otro punto en el espacio de diseño.”
Junto a Arvind en el nuevo artículo figuran Sang Woo Jun y Ming Liu, estudiantes de posgrado del MIT en Ciencias de la Computación e Ingeniería y coprimeros autores; su compañero de posgrado Shuotao Xu; Sungjin Lee, posdoctorado en el grupo de Arvind; Myron King y Jamey Hicks, quienes realizaron sus doctorados con Arvind y eran investigadores de Quanta Computer cuando se desarrolló el nuevo sistema; y uno de sus colegas de Quanta, John Ankcorn, que también es exalumno del MIT.
Computación externalizada
Los investigadores lograron que una red de servidores basados en memoria flash fuera competitiva con una red de servidores basados en RAM trasladando parte de la potencia de cálculo de los servidores a los chips que controlan las unidades flash. Al preprocesar parte de los datos de las unidades flash antes de devolverlos a los servidores, esos chips pueden hacer que la computación distribuida sea mucho más eficiente. Y como los algoritmos de preprocesamiento están integrados en los chips, se prescinde de la sobrecarga computacional asociada a ejecutar un sistema operativo, mantener un sistema de archivos y similares.
Con hardware aportado por algunos de sus patrocinadores —Quanta, Samsung y Xilinx—, los investigadores construyeron un prototipo de red de 20 servidores. Cada servidor estaba conectado a una matriz de puertas programables en campo, o FPGA, un tipo de chip que puede reprogramarse para imitar distintos tipos de circuitos eléctricos. Cada FPGA, a su vez, estaba conectada a dos chips de memoria flash de medio terabyte —o 500 gigabytes— y a las dos FPGA más cercanas del bastidor del servidor.
Como las FPGA estaban conectadas entre sí, formaban una red muy rápida que permitía a cualquier servidor recuperar datos de cualquier unidad flash. También controlaban las unidades flash, lo cual no es una tarea sencilla: los controladores que incluyen las unidades flash comerciales modernas tienen hasta ocho procesadores diferentes y un gigabyte de memoria de trabajo.
Por último, las FPGA también ejecutaban los algoritmos que preprocesaban los datos almacenados en las unidades flash. Los investigadores probaron tres de esos algoritmos, orientados a tres aplicaciones populares de big data. Una es la búsqueda de imágenes, es decir, intentar encontrar coincidencias para una imagen de muestra en una base de datos enorme. Otra es una implementación del algoritmo PageRank de Google, que evalúa la importancia de distintas páginas web que cumplen los mismos criterios de búsqueda. Y la tercera es una aplicación llamada Memcached, que los sitios web grandes basados en bases de datos utilizan para almacenar información a la que se accede con frecuencia.
Clústeres camaleónicos
Las FPGA son alrededor de una décima parte de rápidas que los chips diseñados específicamente con circuitos cableados, pero son mucho más rápidas que las unidades centrales de procesamiento que utilizan software para realizar los mismos cálculos. Normalmente, se utilizan para prototipar nuevos diseños o en productos de nicho cuyos volúmenes de ventas son demasiado pequeños para justificar el alto coste de fabricar chips diseñados específicamente.
Pero el diseño de los investigadores del MIT y Quanta sugiere un nuevo uso para las FPGA: multitud de aplicaciones podrían beneficiarse de aceleradores como los tres que diseñaron los investigadores. Y como las FPGA son reprogramables, podrían cargarse con distintos aceleradores según la aplicación. Esto podría dar lugar a sistemas de procesamiento distribuido que pierden poca versatilidad y que, al mismo tiempo, ofrecen ahorros considerables en energía y coste.
“Muchas aplicaciones de big data requieren respuestas en tiempo real o rápidas —dice Jihong Kim, profesor de Ciencias de la Computación e Ingeniería en la Universidad Nacional de Seúl—. “Para este tipo de aplicaciones, BlueDBM” —el sistema de los investigadores del MIT y Quanta— “es una solución atractiva.”
En comparación con otras propuestas para agilizar el análisis de big data, “La principal ventaja de BlueDBM podría ser que puede escalar fácilmente a un sistema de almacenamiento mucho mayor con soportes acelerados especializados”, afirma Kim.
Este artículo se publica en colaboración con MIT. La publicación no implica que el Foro Económico Mundial respalde las opiniones expresadas.
Para estar al día de la Agenda suscríbase a nuestro boletín semanal.
Autor: Larry Hardesty es colaborador invitado de MIT News.
Imagen: En esta imagen se ven cables. REUTERS.
