Con la proliferación de las cargas de IA, se ha hecho cada vez más necesario disponer de una unidad dedicada para no restar rendimiento a la CPU y GPU. Ahí es donde entra en juego la NPU que vemos integrados en muchos SoCs actuales de Apple, Qualcomm, AMD, Intel, etc. Y su rendimiento se mide en TOPS, pero ¿qué es exactamente esa unidad?

Algoritmos de IA

Los algoritmos de inteligencia artificial (IA) son el motor que impulsa las aplicaciones que van desde la recomendación de productos en línea hasta la conducción autónoma, pasando por los chatbots, etc. Al igual que el software convencional, que se crea a partir de algoritmos implementados mediante los lenguajes de programación, la IA también se hace a partir de algoritmos, solo que en este caso son diferentes.

Estos algoritmos, esencialmente, son conjuntos de instrucciones que permiten a las máquinas aprender de los datos y realizar tareas que normalmente requerirían inteligencia humana, como realizar acciones de forma inteligente, con coherencia, hasta comprender el lenguaje natural, reconocer imágenes, etc.

Te podría interesar conocer las diferencias entre las NPUs AMD Ryzen AI vs Intel AI Boost

Complejidad

Seguramente has visto algunos números que ves asociados a los modelos de IA, como 2B o 7B, etc. Mientras mayor es el número, más recursos de hardware necesitará para ejecutarse de forma fluida. Y es que, estos datos se refieren al número de parámetros en el modelo. Un parámetro es un valor numérico que el modelo aprende durante el entrenamiento y que se utiliza para realizar predicciones.

Mientras mayor sea el número, mayor será la capacidad del modelo para aprender patrones más complejos, por lo que será más inteligente, podrá ejecutar tareas más complejas, etc. Sin embargo, esto resulta en una mayor demanda de cómputo, y mayores cantidades de datso para entrenar al algoritmo.

Tipos de datos frecuentes

Antes de pasar a conocer qué son los TOPS, decir que estos algoritmos, independientemente de su complejidad, hacen uso frecuente de algunos tipos de datos muy específicos. Mientras algunas aplicaciones multimedia pueden hacer uso de instrucciones de extensiones como SSE de 128-bit, o AVX-512 para apps científicas, etc., las de IA son más propensas a usar números enteros y de coma flotante de baja precisión, como los FP8, FP16, o BF16, especialmente con operaciones como sumas y multiplicaciones, en vez de otras operaciones con datos como los FP32, FP64, o vectores mayores. Por ello, para acelerar estas cargas de trabajo desde el hardware, se necesitan aceleradores como las NPUs, que están especialmente diseñadas para disponer de unidades de cómputo para este tipo de datos.

¿Qué son los TOPS?

TOPS es un acrónimo que significa Trilliones de Operaciones por Segundo, o en inglés Trillion Operations Per Second. Se trata de una medida de rendimiento, específicamente diseñada para evaluar la capacidad de procesamiento de unidades dedicadas a tareas de inteligencia artificial, como las NPU, pero no exclusivas de éstas, también una CPU o GPU pueden medirse en TOPS para este tipo de tareas.

En términos más simples, los TOPS indican la velocidad a la que una NPU puede realizar operaciones matemáticas de las que hablamos anteriormente, que son la base de los cálculos necesarios para entrenar y ejecutar modelos de IA. Cuanto mayor sea el valor de TOPS, más rápido podrá ejecutar tareas de IA.

La relación entre TOPS, NPU y la complejidad de los algoritmos de IA es directa, ya que cuanto más complejos sean los algoritmos de IA, mayor cantidad de cálculos requieren, es decir, mayor cantidad de TOPS. Por tanto, mientras mayor rendimiento, más rápido y fluido será la ejecución o el entrenaiento. Por ejemplo, para hacerte una idea, para ejecutar una app como Copilot de Microsoft en local, se necesitarían unos 40 TOPS.

En el caso de las NPUs o TPUs dedicadas, como Google TPU, NVIDIA A100 o H100 y AMD Instinct MI, hablamos de capacidades de miles de TOPS para cargas de IA. En cambio, si miramos el rendimiento de las GPUs como las NVIDIA GeForce RTX o las AMD Radeon, se pueden conseguir cientos de TOPS. Mientras que las CPUs actuales pueden desarrollar desde unas unidades hasta decenas de TOPS. Por ello, las NPUs integradas, que aportan decenas de TOPS en las nuevas arquitecturas, son de gran ayuda para mejorar el rendimiento en este tipo de cargas.

Por ejemplo, si apreciamos una APU como la AMD Ryzen 7 PRO 8840U, tenemos que se pueden conseguir un total de 38 TOPS para cargas de IA, mientras que la NPU integrada en este chip puede aportar 16 TOPS, lo que supone una gran ayuda respecto a ejecutar cargas sobre el procesador sin incluir esta unidad aceleradora.

¡Comenta!