Toronto AI Lab

GET3D by NVIDIA es un modelo de IA generativa que crea mallas 3D texturizadas de alta calidad directamente desde colecciones de imágenes 2D. A diferencia de enfoques anteriores que a menudo producen una topología limitada o carecen de texturas, GET3D by NVIDIA genera mallas 3D explícitas con geometrías complejas y texturas de alta fidelidad que son utilizables de inmediato en motores de renderizado 3D estándar. La herramienta funciona aprendiendo a partir de pérdidas adversarias definidas en imágenes 2D, utilizando un renderizador diferenciable para obtener imágenes RGB y siluetas durante el entrenamiento.

El sistema utiliza dos códigos latentes —uno para la geometría y otro para la textura— lo que permite un control desvinculado sobre la forma y la apariencia. Emplea DMTet para extraer mallas de superficie 3D a partir de campos de distancia con signo y realiza consultas en campos de textura en los puntos de la superficie para generar colores. Lo que hace que GET3D by NVIDIA destaque es su capacidad para producir formas diversas con topología arbitraria mientras mantiene detalles de geometría y textura de alta calidad, como las ruedas de las sillas, las luces de los coches y rasgos animales intrincados.

Esta herramienta beneficia principalmente a creadores de contenido 3D, desarrolladores de juegos y constructores de mundos virtuales que necesitan generar rápidamente grandes cantidades de activos 3D de alta calidad. Los casos de uso del mundo real incluyen la creación de modelos 3D diversos para entornos de juego, la generación de visualizaciones arquitectónicas y la producción de activos texturizados para aplicaciones de VR/AR sin el esfuerzo del modelado manual.