AMD Gaia: un proyecto de código abierto que ejecuta LLM de forma local

AMD lanza el proyecto de código abierto Gaia para poder ejecutar modelos de lenguaje grandes (LLM) en cualquier PC de forma local.

AMD Gaia: proyecto de código abierto para ejecutar LLM localmente

La ejecución local de modelos de lenguaje grandes (LLM) en PC es cada vez más popular a nivel mundial y más practicó al no requerir de una conexión a Internet rápida. En el caso de AMD Gaia, se trata de un proyecto de código abierto da facilidades para hacer esto posible, además de que incluyen optimizaciones de rendimiento adicionales para procesadores Ryzen AI de AMD, que han llegado al segmento de portátiles.

El SDK está utilizando el código abierto Lemonade de ONNX TurnkeyML para la inferencia de LLM. En Gaia, pueden usarse los modelos para distintas tareas, como tareas de resumen y razonamiento complejo.

Te recomendamos nuestra guía sobre el armado de un PC entusiasta

Gaia también funciona con un agente de Retrieval-Augmented Generation (RAG), que permite proporcionar una experiencia de IA interactiva para el usuario final, con respuestas más precisas y contextualizadas.

Los cuatro agentes disponibles serían:

  • Prompt Completion, diseñado para interacciones directas con modelos para pruebas y evaluación.
  • Chaty, que es un chatbot similar a ChatGPT.
  • Clip, un agente con funciones de búsqueda en YouTube y preguntas y respuestas.
  • Joker, un generador de chistes.

Se comenta que Gaia puede optimizar las consultas del usuario antes de que él LLM las procese, esto mejora la precisión en las respuestas y en una mejor interpretación de lo que se está diciendo.

Pueden ver más información en la página de desarrolladores de AMD.

Recent Posts

  • Portátiles y ordenadores

SteamOS es probado en un ASUS ROG Ally, el SO de Valve se lanzará muy pronto

SteamOS se ha instalado y probado en un portátil ASUS ROG Ally con un APU…

2 horas atrás
  • Placas base

ASRock informa sobre sus placas base y las fallas con los procesadores Ryzen

ASRock publica una actualización sobre los problemas con sus placas base, que estaban provocando daños…

5 horas atrás
  • Tarjetas gráficas

AMD RX 9070, el modelo de referencia es probado y alcanza los 67°C

Se ha probado la tarjeta gráfica AMD Radeon RX 9070 en su diseño de referencia,…

10 horas atrás