AMD XDNA 3 y North Star: detalles de su futura NPU

AMD ha mostrado músculo en cuanto a su inventario de productos para IA, tanto desde el lado del cliente como también desde el lado del servidor, con toda su pila de productos. Además, ha dado a conocer sus intenciones futuras, con una nueva NPU con nombre clave North Star y XDNA 3, con unas capacidades muy superiores a los actuales procesadores.

Roadmap: adelantos en IA que ha dejado ver AMD

AMD no para con el desarrollo de Ryzen AI como ha demostrado con la nueva microarquitectura XDNA 2, con mejoras respecto a XDNA 1, que logró hasta 10 TOPS en su primera revisión, y hasta 16 TOPS en la segunda, con algunas mejoras intermedias hasta la llegada de la actual XDNA 2, que parte de 50 TOPS como se puede ver en la hoja de ruta ofrecida por AMD.

Además, la nueva XDNA 2, que es la tercera generación o revisión de Ryzen AI también incluye cambios para mejorar su desempeño no solo en CNN y modelos de audio, también en IA generativa y Natural language processing (NLP).

Como se puede apreciar en el roadmap, ya están desarrollando la futura generación de cara al futuro, y en este caso será una NPU mejorada para cargas de trabajo LLM y otros tipos de algoritmos de IA emergentes. Esto quiere decir que la futura NPU, XDNA 3, estará preparada para sistemas de inteligencia artificial conversacionales, para poder comprender y generar lenguaje humano de forma similar a como lo hacemos nosotros.

Esto permitirá ejecutar en local aplicaciones como la generación de textos, responder a preguntas de forma más natural, y seguir instrucciones para completar tareas de forma automatizada según tus necesidades.

También te puede interesar conocer los mejores portátiles actuales para IA

XDNA 3 y North Star

AMD ha mostrado los avances de XDNA 2 (3º Gen), es decir, la tercera generación de NPU incluida en las unidades Ryzen AI 300 Series, y que puede conseguir prestaciones bastante interesantes como se puede ver en la tabla superior:

• Tamaño del modelo de parámetros (int4) de hasta 7B. Un tamaño de modelo más grande generalmente se asocia con un mejor rendimiento y una mayor capacidad para comprender y generar lenguaje natural.
• Longitud máxima de la secuencia de entrada de hasta 2K. Define la cantidad máxima de palabras o tokens que el modelo puede procesar en una sola entrada. Un modelo con una mayor longitud de secuencia de entrada puede manejar oraciones o párrafos más largos.
• Tiempo de primera respuesta de 1000 a 4000 ms. Representa el tiempo que tarda el modelo en generar una respuesta inicial a una consulta o pregunta.
• Tokens por segundo de hasta 20, es decir, la velocidad a la que el modelo puede generar texto. Un valor más alto de tokens por segundo indica una mayor capacidad de procesamiento y una generación de texto más rápida.

Esto es lo que ofrece ahora, pero también ha mostrado unos datos de una arquitectura misteriosa denominada Nort Star que podría ser la futura XDNA 3, y de ser así, el rendimiento de la futura NPU puede ser impresionante.

Esto significaría ejecutar modelos de lenguaje masivos (LLM) localmente a una velocidad muy alta. Para 2026, su objetivo es lograr este «North Star» permitiendo que los portátiles manejen LLM de 30 mil millones de parámetros a una velocidad de 100 tokens por segundo.

Sin embargo, lograr esta hazaña requiere más que solo una NPU potente. Si bien la potencia de procesamiento bruta (TOPS/FLOPS) ayuda con los tiempos de respuesta iniciales, las limitaciones de memoria son el mayor obstáculo para ejecutar LLM grandes en portátiles. Así que es probable que la North Star no es solo una NPU más grande. Si bien un procesamiento más rápido ayuda con la respuesta inicial, el ancho de banda de la memoria es crucial para una operación LLM fluida. El bus de memoria de 128 bits actual, incluso con la última memoria LPDDR5x, alcanza un ancho de banda máximo de alrededor de 120-135 GBps.

Este es el desafío para alcanzar un LLM de 30 mil millones de parámetros, incluso si se comprime a 4 bits, requeriría aproximadamente 15 GB de memoria y un asombroso ancho de banda de 1.5 TB/s para alcanzar el objetivo de 100 tokens por segundo. Este ancho de banda es comparable a una poderosa tarjeta de escritorio Nvidia A100 con memoria HBM2, pero con un consumo de energía significativamente menor. Lo cual deja con la boca abierta para ser una NPU integrada en un SoC…

Te recomiendo leer nuestra guía con los mejores procesadores actuales

Aceleración IA en todo el inventario

Por otro lado, AMD está explotando bien su actual ventaja en cuanto a la aceleración de IA en x86. Esta tecnología no solo se ha incluido en las APUs AMD Ryzen 7040 Series, 8000 Series, y Ryzen AI 300 Series, también en los procesadores para escritorio correspondientes y los nuevos Ryzen 9000 Series.

Este potencial de IA también se presenta en otros productos del inventario de AMD, como han mostrado, pasando por el sector HPC y cloud/servidores, gracias a los aceleradores de IA en los AMD EPYC y las unidades Radeon Instinct, así como en los productos de Xilinx, junto con los FPGAs.

Deja tus comentarios si tienes algo más que agregar…