El servidor de inferencia Nvidia Triton con GPU A100 Tensor Core ha multiplicado por siete el rendimiento del servicio de búsquedas Bing.
Nvidia Triton se actualiza con A100 para las búsquedas y publicidad de Bing
Microsoft ha actualizado el hardware que se encarga de los anuncios personalizados del buscador Bing, el cual necesita de grandes cantidades de potencia de cálculo para poder personalizar los anuncios para cada usuario.
El servidor de inferencia Nvidia Triton ahora está utilizando GPUs A100, una actualización importante por sobre los aceleradores Nvidia T4. La función de GPU multiinstancia (MIG) de esta gráfica permite a los usuarios dividir una GPU en varias instancias. Esta función es la que ha permitido multiplicar por siete el rendimiento, con una respuesta de inferencia de solo 10 ms.
Las búsquedas de Bing y los anuncios evolucionan constantemente según lo que busca el usuario, por lo que toda esa información necesita procesarse de la forma más rápida posible. Otras de las funciones que han permitido acelerar el trabajo de Bing son Bang y EL-Attention. Juntas, aplican técnicas sofisticadas para hacer más trabajo en menos tiempo y con menos requisitos de memoria. El entrenamiento de los modelos se basó en Azure Machine Learning para lograr una mayor eficiencia.
Te recomendamos nuestra guía sobre la configuración de un PC para diseño gráfico y video
Nvidia Triton hizo esto posible gracias a que los usuarios pueden ejecutar simultáneamente distintos softwares de ejecución, marcos de trabajo y modos de IA en instancias aisladas de una única GPU.
Nvidia remarca la utilización de Triton como un triunfo, ya que Bing es uno de los buscadores más utilizados en el mundo por detrás de Google. Pueden ver más información sobre Triton y la inferencia de la IA en la página oficial de Nvidia. os mantendremos al tanto de todas las novedades.
