DLSS Ray Reconstruction: CCN vs Transformer Model

NVIDIA sigue llevando la inteligencia artificial al siguiente nivel con DLSS Ray Reconstruction. Con ella trata de mejorar el trazado de rayos en tiempo real. Introducida con la serie RTX 50, esta nueva evolución de DLSS reemplaza los tradicionales filtros de ruido con un modelo de IA avanzado, generando imágenes más nítidas, detalladas y con una iluminación más realista, como te explicamos aquí…

También te recomiendo leer nuestro artículo sobre las mejores tarjetas gráficas del mercado

¿Qué es DLSS Ray Reconstruction?

DLSS (Deep Learning Super Sampling) Ray Reconstruction es una tecnología de NVIDIA que utiliza inteligencia artificial para mejorar la calidad de imágenes generadas mediante Ray Tracing. Forma parte de la última generación de DLSS 3.5, y heredado también por la nueva DLSS 4. Una forma de reducir el ruido en el trazado de rayos en tiempo real, como sabrás.

El propósito de DLSS Ray Reconstruction es sustituir los filtros de denoising tradicionales, que eliminan ruido pero pueden degradar detalles, con un enfoque basado en deep learning que mejora la nitidez y la iluminación global de la escena.

Para que ello sea posible, se debe entrenar modelos de redes neuronales con gran cantidad de imágenes renderizadas y datos de ruido vs sin ruido para que pueda diferenciar entre ellas, y así generar un algoritmo capaz de predecir de forma inteligente cómo sería la imagen final sin ruido y así aplicarse a los fotogramas generados.

DLSS Ray Reconstruction no solo limpia el ruido, sino que reconstruye detalles basándose en información global de la escena. Esto permite imágenes más precisas y menos dependientes del número de muestras de Ray Tracing, como ya expliqué en otro de nuestros artículos cuando hablamos del Transformer Model…

Te recomiendo leer nuestra guía sobre la mejor configuración gaming

¿Qué es CCN?

Esta reconstrucción o mejora de imágenes se puede hacer de varias formas, una de ellas es el CNN y otra mediante Transformer Modelo. Para comprender esto, primero hay que decir que Convolutional Neural Networks (CNNs) es un tipo de red neuronal profunda diseñada para procesar imágenes y detectar patrones espaciales. Han sido ampliamente utilizadas en técnicas de denoising y super-resolución en gráficos.

Para esta técnica se emplean capas convolucionales para extraer características como bordes, texturas y estructuras. Luego se aplican los cambios necesarios a la imagen y se elimina el ruido a la par que se evita la pérdida de detalle como en técnicas más tradicionales como la denominada denoising.

¿Qué es Transformer Model?

Los Modelos Transformer son una arquitectura de red neuronal basada en mecanismos de atención, diseñados originalmente para procesamiento de lenguaje natural, pero ahora aplicados en gráficos. En el contexto de DLSS Ray Reconstruction, los Transformers analizan la imagen de manera más contextual y global que una CNN. Es decir, es más inteligente y con mejores resultados.

En este caso evalúan cada píxel en relaciñon con toda la escena, y no solo con los píxeles adyacentes como en CNN. Esto aporta una reconstrucción más inteligente sin perdida de reflejos, sombras, o luces complejas, además de reducir los temidos artefactos en las imágenes en movimiento, generando problemas como animaciones inconsistentes o ghosting.

Ventajas y desventajas

Ahora te preguntarás qué ventajas o diferencias hay entre el Ray Reconstruction de NVIDIA basado en CNN y el basado en Transformer Model, pues bien, a modo de resumen, decir que:

• Detalles: el CNN filtra el ruido y suaviza bordes y texturas, lo que hace perder algunos detalles y precisión de la imagen, mientras que el Transformer Model es más preciso y nítido. Además, los reflejos e iluminación es más compleja y sin pérdidas en el segundo caso.
• Coherencia temporal: CNN puede generar ghosting en las imágenes en movimiento, mientras que la estabilidad es mayor en Transformer Model.
• Capacidad: mientras CNN es más local en cuanto a los patrones que modifica, Transformer Model es más global para todo el fotograma completo.
• Eficiencia: CNN no tiene un impacto grande en el rendimiento, mientras Transformer Model necesita de una potencia de cálculo algo superior.

No olvides dejar tus comentarios a continuación…