Los últimos controladores gráficos de Nvidia están aumentando el rendimiento en IA en hasta 3 veces con los nuevos controladores 555.85 (R555).
Nvidia aumenta el rendimiento en IA con sus GPUs RTX
Las tarjetas gráficas para PC RTX y para estaciones de trabajo ahora cuentan con una mejora en el rendimiento de IA, gracias a las optimizaciones añadidas por parte de Nvidia, que fueron anunciadas durante el Microsoft Build.
Las mejoras en el desempeño están beneficiando a los modelos de lenguaje LLM que se utilizan en la IA generativa. Con los últimos controladores, es posible experimentar aumentos en el desempeño de hasta 3 veces ONNX Runtime (ORT) y DirectML. Ambos se utilizar para la ejecución de modelos de IA de manera local en el PC.
Te recomendamos nuestra guía sobre las mejores tarjetas gráficas del mercado
Nvidia se encuentra trabajando con Microsoft para mejorar el rendimiento de sus GPUs RTX en Windows, esto se ve reflejado en la mejora de desempeño con WebNN a través de DirectML, además de que están trabajando para añadir la compatibilidad de DirectML con PyTorch.
Los nuevos controladores de Nvidia están añadiendo lo siguiente, según la lista de cambios de los controladores R555.
- Compatibilidad con el metacomando DQ-GEMM para gestionar la cuantización de ponderaciones INT4 para LLM.
- Nuevos métodos de normalización RMSNorm para los modelos Llama 2, Llama 3, Mistral y Phi-3.
- Mecanismos de atención a grupos y consultas múltiples, y atención a ventanas deslizantes para Mistral.
- Actualizaciones KV in situ para mejorar el rendimiento.
- Compatibilidad con GEMM de tensores no múltiples de 8 para mejorar el rendimiento de la fase de contexto.
Nvidia tiene a actualmente distintas tecnologías que están aprovechando sus núcleos Tensor que aceleran la carga de trabajo de inteligencia artificial en varias tecnologías y aplicaciones, tales como DLSS, NVIDIA ACE, RTX Remix, Omniverse, Broadcast, RTX Video, entre otros.
Actualmente, las GPUs RTX pueden ofrecer un rendimiento de hasta 1300 TOPS en inteligencia artificial, lo que supera ampliamente el rendimiento de IA que puede ofrecer cualquier CPU actualmente. Pueden ver las novedades de los últimos controladores en el siguiente enlace.
