la memoria de IA se vuelve compartida: lo que debes saber
La IA está cambiando una regla antigua de los servidores: la memoria ya no tiene que estar dentro de cada máquina.
Antes, la escasez de RAM se veía como un problema de ordenadores personales, pero ahora afecta a los gigantes que entrenan modelos de IA en centros de datos.
La solución es mover gran parte de la memoria a sistemas externos que pueden repartir capacidad según la necesidad. Así nace el concepto de “memory godbox”, una gran caja de memoria que no está atada a un solo servidor.
La tecnología que lo hace posible es CXL (Compute Express Link). Después de años de desarrollo, CXL 2.0 introdujo el pooling de memoria, y CXL 3.0 permite compartirla entre máquinas, aunque con algunas limitaciones técnicas.
El problema no es solo el cálculo: los modelos de IA también necesitan mucha memoria. La HBM de las GPU es rápida pero cara y con poca capacidad. En entrenamiento se procesan enormes volúmenes de datos, y en inferencia la memoria de trabajo llamada KV cache puede crecer hasta superar al propio modelo.
Algunas compañías están creando sistemas con reservas de DDR5 que pueden alcanzar 18 TB por servidor y 144 TB en un rack completo, poniendo esa memoria al alcance de varios hosts.
¿por qué la RAM tradicional ya no basta?
Los modelos de IA requieren más datos de los que una RAM local puede almacenar, especialmente durante la inferencia, donde la KV cache crece rápidamente.
cxl: la llave que abre la memoria compartida
CXL empezó como una promesa lenta, pero ahora CXL 2.0 permite agrupar memoria y CXL 3.0 la comparte entre servidores, creando una red de memoria flexible.
Esto significa que un servidor puede usar una parte local y pedir más memoria a un “memory godbox” cuando lo necesite.
gigantes de la memoria: terabytes al alcance de todos
Los nuevos sistemas pueden ofrecer hasta 18 TB de DDR5 por servidor y 144 TB en un rack, lo que revoluciona el entrenamiento y la inferencia de IA.
Con esa capacidad, la limitación pasa de la memoria a la velocidad de acceso, impulsando nuevas arquitecturas.