La inteligencia artificial (IA) está chocando contra un «muro de memoria» que ralentiza el rendimiento y eleva los costes, lo que en última instancia limita el progreso.
La arquitectura informática estándar, en la que la memoria y el procesamiento están separados, se está volviendo ineficiente ante el rápido crecimiento de la IA.
Entre los modelos alternativos para combatir el cuello de botella de la IA podrían figurar los sistemas de computación en memoria, las redes neuronales de impulsos inspiradas en el cerebro, los sensores basados en eventos o el uso de computación de menor precisión o aproximada.
La inteligencia artificial (IA) se está topando con un cuello de botella físico. A medida que los modelos crecen y se vuelven más complejos, una proporción cada vez mayor del tiempo y la energía se dedica a mover datos entre la memoria, donde se almacena la información, y los procesadores, donde se realizan los cálculos.
Esa carga, a menudo llamada «muro de memoria», se está convirtiendo en una limitación grave. La presión aumenta rápidamente: los modelos de procesamiento del lenguaje multiplicaron por 5.000 su tamaño en cuatro años.
El problema del muro de memoria importa por dos razones.
En primer lugar, la demanda energética de los sistemas de IA a gran escala aumenta rápidamente, lo que eleva los costes y la infraestructura necesaria para entrenarlos y ejecutarlos.
En segundo lugar, muchos usos valiosos de la IA dependen de decisiones rápidas tomadas localmente en dispositivos periféricos, en lugar de en la nube, en entornos donde importan la potencia, el tamaño, la conectividad y la latencia.
Los dispositivos médicos, los vehículos autónomos y los drones de rescate no siempre pueden depender de enviar información a un centro de datos distante para procesarla y esperar una respuesta; a menudo necesitan, en cambio, hardware que haga más viable la IA en el propio dispositivo.
Como describimos en Frontiers in Science, hay tres formas principales de aliviar este cuello de botella: acercar el cálculo a los datos, inspirarse en el método del cerebro para procesar información mediante eventos y utilizar computación de menor precisión o estocástica cuando no se necesita aritmética exacta.
En conjunto, estos enfoques podrían impulsar una nueva generación de hardware para IA más rápido, eficiente y adecuado para infraestructuras a gran escala y aplicaciones periféricas.
3 nuevos enfoques para superar el muro de memoria de la IA
1. Acercar el cálculo a la memoria
La mayoría de los ordenadores todavía utilizan la consolidada arquitectura de von Neumann, en la que la memoria y el procesamiento están físicamente separados. Para realizar incluso una operación sencilla, hay que extraer los datos de la memoria, procesarlos en una unidad de cálculo aparte y volver a escribirlos.
Ese tráfico repetido resulta costoso para la IA, que depende de enormes cantidades de parámetros y valores intermedios a los que hay que acceder una y otra vez.
Una solución es la computación en memoria, que realiza operaciones dentro de la matriz de memoria o muy cerca de ella, en lugar de trasladar los datos a una unidad de procesamiento independiente cada vez que se necesita un cálculo. Reducir el tráfico de datos podría ayudar a disminuir la latencia y el consumo de energía a medida que crecen los sistemas de IA.
No existe una única fórmula de hardware para la computación en memoria. Hay diversos enfoques, cada uno con sus ventajas y desventajas en cuanto a velocidad, precisión, densidad y eficiencia energética. La idea general es que el hardware del futuro para la IA necesitará una integración más estrecha del almacenamiento y el cálculo que la que ofrecen los sistemas convencionales.
2. Aprender del ritmo del cerebro
Una segunda vía consiste en cambiar la forma de procesar la información. Muchos sistemas de IA se basan en redes neuronales artificiales que procesan las entradas de forma continua y realizan numerosos cálculos en cada paso, haya cambiado o no la señal recibida.
Los cerebros biológicos funcionan de otra manera: las neuronas suelen permanecer en silencio y se activan principalmente cuando tienen algo que comunicar.
La estrategia del cerebro basada en el ritmo ha inspirado las redes neuronales de impulsos, en las que la información se representa mediante «impulsos» o eventos discretos. Esto permite que los cambios en la entrada activen los cálculos y que, cuando apenas hay cambios, quizá haya poco que procesar.
Estas redes neuronales pueden ser especialmente útiles si se combinan con sensores basados en eventos. Una cámara convencional captura fotogramas a intervalos regulares, lo que genera una gran cantidad de información visual repetida.
En cambio, una cámara basada en eventos registra únicamente los cambios a nivel de píxel, como el movimiento o las variaciones de brillo, y genera así un flujo de datos mucho más ligero. Estos dispositivos requieren hardware y algoritmos capaces de procesar los cambios a medida que se producen, en vez de analizar repetidamente imágenes completas.
Esta combinación resulta atractiva para la IA periférica. Un dron de búsqueda y rescate que navegue entre humo, escombros o terrenos inestables quizá tenga que detectar movimientos, esquivar obstáculos y ajustar su trayectoria en tiempo real con una batería limitada.
Enviar esa información a la nube puede ralentizar las respuestas, sobre todo cuando la conectividad no es fiable. En esos entornos, el procesamiento inspirado en el cerebro puede reducir los cálculos innecesarios y mantener localizados la percepción y la toma de decisiones.
3. Usar la precisión donde más importa
Una tercera estrategia consiste en reconocer que no todos los cálculos de IA requieren el mismo nivel de precisión. Muchos modelos pueden tolerar pequeños errores numéricos, valores aproximados o cierto grado de ruido del hardware sin que su rendimiento general disminuya de manera significativa.
La tolerancia a pequeños errores abre la puerta al hardware estocástico o aproximado. En la práctica, esto puede significar utilizar una menor precisión numérica, permitir una variabilidad controlada en ciertas operaciones o diseñar circuitos que intercambien la aritmética exacta por un menor consumo de energía.
El objetivo es adaptar la precisión a las necesidades. Si ese equilibrio se elige cuidadosamente, el hardware puede consumir menos energía y utilizar menos recursos del chip, sin dejar de cumplir los requisitos de precisión de la aplicación.
Los enfoques estocásticos y aproximados son especialmente pertinentes para los sistemas adaptativos y en tiempo real, como los vehículos autónomos, los robots móviles o los dispositivos ponibles, en los que las respuestas rápidas y el funcionamiento eficiente pueden importar más que la máxima precisión numérica en cada etapa.
Codiseñar el sistema completo
Estas tres vías son más eficaces cuando se consideran partes de un único problema de diseño. El hardware futuro para la IA no puede desarrollarse diseñando un chip de forma aislada e intentando después adaptar los algoritmos a él. La arquitectura, la memoria, la estrategia de precisión, los sensores y el modelo de aprendizaje se influyen mutuamente.
Por eso, el codiseño de hardware y algoritmos está cobrando tanta importancia. Algunas cargas de trabajo pueden beneficiarse sobre todo de la computación en memoria; otras, de las redes de impulsos y la detección basada en eventos; y otras, de métodos de precisión mixta o estocásticos. En muchos casos, la mejor solución puede combinar estos enfoques en una misma plataforma.
La implicación más amplia es que el futuro de la IA depende tanto del diseño del hardware como del diseño de los modelos. Un hardware más eficiente para la IA podría ayudar a contener la creciente demanda de recursos de los sistemas a gran escala y, al mismo tiempo, mejorar la seguridad y fiabilidad de los dispositivos sobre el terreno.
Esto tiene implicaciones para los costes, la infraestructura, la resiliencia y el acceso en sectores que van desde la atención sanitaria y el transporte hasta la respuesta a emergencias y la automatización industrial.
Para que la IA siga extendiéndose por la economía mundial sin un aumento paralelo de la carga energética y de hardware, será esencial superar el muro de memoria. El próximo gran salto quizá dependa menos de construir modelos cada vez más grandes y más de construir mejores máquinas para ejecutarlos.
