Conocimiento Bóveda 5 /49 - CVPR 2019
DeepSDF: Aprendiendo Funciones de Distancia Firmada Continua para la Representación de Formas
Jeong Joon Park; Peter Florence; Julian Straub; Richard Newcombe; Steven Lovegrove
< Imagen del Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4o | Llama 3:

graph LR classDef deepsdf fill:#f9d4d4, font-weight:bold, font-size:14px classDef representation fill:#d4f9d4, font-weight:bold, font-size:14px classDef performance fill:#d4d4f9, font-weight:bold, font-size:14px classDef applications fill:#f9f9d4, font-weight:bold, font-size:14px classDef related fill:#f9d4f9, font-weight:bold, font-size:14px A["DeepSDF: Aprendiendo Funciones de Distancia
Firmada Continua
para la Representación de Formas"] --> B["DeepSDF: regresa SDFs
con NNs. 1"] A --> C["Redes deconvolucionales: crecen
para vóxeles. 2"] A --> D["Nubes de puntos: compactas,
sin superficies. 3"] A --> E["Mallas de triángulos: vértices desconocidos,
topologías. 4"] A --> F["SDF: campo volumétrico,
distancia a la superficie. 5"] B --> G["FC NN: XYZ dentro,
SDF fuera. 6"] B --> H["Código latente Z:
codifica forma. 7"] B --> I["Autodecodificador: aprende espacio
sin codificador. 8"] I --> J["Entrenamiento: código aleatorio
por forma, SDFs. 9"] I --> K["Espacio latente: obtenido
post-entrenamiento. 10"] B --> L["Inferencia: código óptimo
vía descenso de gradiente. 11"] L --> M["Muestras arbitrarias de SDF:
e.g. mapa de profundidad. 12"] L --> N["Visualización: código coincide
con observación de profundidad. 13"] B --> O["Renderizado: trazado de rayos,
normales de gradiente. 14"] B --> P["Cubos de marcha: malla
desde SDF. 15"] B --> Q["Rendimiento: supera vóxeles,
mallas. 16"] Q --> R["Tamaño de red: 100x
más pequeño que octrees. 17"] Q --> S["Poder expresivo: excede
SOTAs de mallas. 18"] B --> T["Completación de forma: óptima
desde mapa de profundidad. 19"] A --> U["Trabajos relacionados de CVPR:
para referencia. 20"] class A,B deepsdf class C,D,E,F representation class G,H,I,J,K,L,M,N,O,P,Q,R,S performance class T applications class U related

Resumen:

1.- DeepSDF: Regresa directamente funciones de distancia firmada continua utilizando redes neuronales para una representación de formas eficiente y expresiva.

2.- Redes deconvolucionales: Comúnmente usadas para enfoques basados en imágenes pero crecen rápidamente en espacio y tiempo cuando se aplican a vóxeles.

3.- Nubes de puntos: Representaciones más compactas que los vóxeles pero no describen superficies.

4.- Mallas de triángulos: Tienen un número desconocido de vértices y topologías.

5.- Funciones de distancia firmada (SDF): Campo volumétrico donde la magnitud es la distancia a la superficie más cercana y el signo indica dentro/fuera. La forma es el conjunto de nivel cero.

6.- Red neuronal completamente conectada: Toma coordenadas XYZ como entrada y produce el valor SDF predicho.

7.- Código latente (Z): Codifica información de forma interpretada por la red decodificadora. Condicionado en Z para modelar el conjunto de datos de formas.

8.- Autodecodificador: Esquema de aprendizaje para obtener un espacio latente significativo sin codificador. Códigos y pesos del decodificador optimizados conjuntamente.

9.- Entrenamiento: Código aleatorio inicializado por forma, adjunto a la entrada XYZ. Optimizado con los pesos del decodificador dados los SDFs de verdad.

10.- Espacio latente de formas: Obtenido después de entrenar el autodecodificador.

11.- Inferencia: Código óptimo encontrado vía descenso de gradiente para explicar mejor la forma de entrada. Pesos del decodificador congelados.

12.- Muestras arbitrarias de SDF: El autodecodificador permite inferencia en cualquier número de muestras, e.g. desde un único mapa de profundidad.

13.- Visualización de la inferencia: La optimización encuentra el mejor código que coincide con la observación del mapa de profundidad.

14.- Renderizado: Trazado de rayos al cruce cero para el mapa de profundidad. Normales de superficie vía gradientes de retropropagación.

15.- Cubos de marcha: Algoritmo para extraer malla desde SDF.

16.- Rendimiento de representación de formas: DeepSDF supera significativamente los métodos basados en vóxeles y mallas anteriores en formas no vistas.

17.- Eficiencia del tamaño de la red: 100x más pequeño que los métodos de vóxeles en octree mientras proporciona mayor precisión y normales de superficie.

18.- Poder expresivo: Mucho mayor que los métodos basados en mallas de última generación.

19.- Completación de forma: Encuentra la forma de alta calidad óptima dada la entrada del mapa de profundidad. Supera el estado del arte.

20.- Trabajos relacionados de CVPR: Mencionados para mayor referencia.

Bóveda del Conocimiento construida porDavid Vivancos 2024