Conocimiento Bóveda 5 /3 - CVPR 2015
DynamicFusion: Reconstrucción y Seguimiento de Escenas No Rígidas en Tiempo Real
Richard A. Newcombe, Dieter Fox, Steven M. Seitz
< Imagen del Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4o | Llama 3:

DynamicFusion: Reconstrucción y
Seguimiento de Escenas
No Rígidas en Tiempo Real
Seguimiento y reconstrucción
no rígida en tiempo real 1
Cámara de profundidad
de bajo costo 2
Marco canónico alineado
con campo de deformación 3
Campo de deformación
volumétrico por cuadro 4
Reconstrucción volumétrica
actualizada incrementalmente 5
Reconstrucción no rígida
sin plantilla 6
Salida actualizada
incrementalmente en tiempo real 7
Representación de superficie
volumétrica eficiente 8
Función de distancia
firmada truncada 9
Superficie extraída
del conjunto de nivel cero 10
Campo de movimiento
volumétrico 6-DoF 11
Interpolación de gráfico
de deformación dispersa 12
Transformaciones de
cuaterniones duales normalizados 13
Función de costo de
seguimiento no rígido 14
Término de datos densos
sin coincidencia de características 15
Norma de bucle para
manejo de discontinuidades 16
Fusión de rango
generalizada a no rígida 17
Proyección de punto canónico
en marco en vivo 18
Fusión SDF ponderada
en marco canónico 19
Inserción de nodo
en gráfico de deformación 20
Densidad de nodos controlada
por umbral epsilon 21
Campo de movimiento más grueso
con menos nodos 22
Aplicación de modelado
de manos en tiempo real 23
Maneja cambios de topología
durante la reconstrucción 24
Dificultades con deformaciones
no observadas, limitaciones de escalado 25
Rendimiento en tiempo real
vía representaciones eficientes, GPU 27
Campo de deformación volumétrico
permite reconstrucción no rígida 26
Desafíos de escalado y compresión
asociación de datos 28
Trabajo futuro:
cierre de bucle 30

Resumen:

1.- Fusión Dinámica: Reconstrucción y seguimiento en tiempo real de escenas no rígidas usando una sola cámara de profundidad, sin necesidad de una plantilla pre-modelada.

2.- Cámara de profundidad de bajo costo: Cámara de detección de profundidad asequible y ampliamente disponible utilizada para la reconstrucción 3D en tiempo real.

3.- Marco canónico: Marco de referencia fijo al que se alinean los fotogramas de video no rígidos usando un campo de deformación.

4.- Campo de deformación: Campo volumétrico por cuadro que describe cómo la superficie de la escena observada y el espacio circundante se deforman desde el marco canónico.

5.- Reconstrucción de superficie volumétrica: Reconstrucción 3D de la escena que se actualiza incrementalmente deshaciendo el movimiento observado en cada cuadro de profundidad.

6.- Reconstrucción sin plantilla: Reconstrucción de escenas no rígidas sin requerir una plantilla parametrizada de los objetos que se están siguiendo.

7.- Salida en tiempo real: El sistema produce una reconstrucción actualizada incrementalmente de la escena en tiempo real.

8.- Funciones de distancia firmada volumétrica (SDF): Representación de superficie eficiente para actualizaciones en tiempo real, donde cada punto almacena la distancia firmada a la superficie más cercana.

9.- Función de distancia firmada truncada (TSDF): Banda estrecha del SDF cerca de la superficie, utilizada para almacenamiento y cálculo eficientes.

10.- Conjunto de nivel cero: La superficie en sí, codificada como el cruce por cero de la función de distancia firmada, que puede extraerse como una malla de triángulos.

11.- Campo de movimiento volumétrico: Representa el movimiento de la escena como una transformación de cuerpo rígido 6-DoF en cada punto en el espacio canónico.

12.- Gráfico de deformación: Conjunto disperso de nodos de deformación utilizados para interpolar el campo de movimiento volumétrico, reduciendo el cálculo y asegurando la suavidad.

13.- Cuaterniones duales normalizados: Parametrización de las transformaciones de los nodos de deformación, permitiendo una mezcla eficiente y reduciendo artefactos.

14.- Función de costo de seguimiento no rígido: Comprende un término de datos (minimizado cuando el modelo deformado coincide con el marco en vivo) y un término de regularización (asegura la suavidad del campo de movimiento).

15.- Término de datos densos: Permite que todos los datos en el marco en vivo se utilicen para la optimización, sin requerir extracción y coincidencia de características dispersas.

16.- Regularización de norma de bucle: Asegura que puedan formarse discontinuidades en el campo de movimiento donde los datos lo soportan, manteniendo el campo suave en otros lugares.

17.- Fusión de rango: Técnica utilizada en KinectFusion para escenas rígidas, generalizada a escenas no rígidas en DynamicFusion usando el campo de deformación estimado.

18.- Proyección de punto deformado: Proyectar un punto canónico en el mapa de profundidad en vivo usando el campo de deformación estimado para obtener una observación SDF.

19.- Fusión SDF ponderada: Fusionar los valores SDF observados en el marco canónico usando el campo de deformación estimado, como si se estuviera actualizando un volumen rígido pequeño.

20.- Inserción de nodo en gráfico de deformación: Agregar nuevos nodos al gráfico de deformación para representar con precisión el movimiento sobre áreas de superficie recién reconstruidas.

21.- Umbral de distancia epsilon: Determina la densidad de los nodos del gráfico de deformación en función de su distancia al nodo existente más cercano.

22.- Campo de movimiento más grueso: Resultante de aumentar el umbral de distancia epsilon, lo que lleva a menos nodos de transformación y una representación de movimiento más simple.

23.- Aplicación de modelado de manos: Usar DynamicFusion para el modelado en tiempo real de pequeños objetos no rígidos manipulados por manos.

24.- Cambios de topología: DynamicFusion puede manejar cambios en la topología de la escena, como deformaciones de abierto a cerrado a abierto, durante la reconstrucción continua.

25.- Limitaciones: DynamicFusion puede tener dificultades con deformaciones no observadas en los datos, planteando desafíos para escalar a escenas más grandes.

26.- Estimación de campo de deformación volumétrico: Clave para habilitar la reconstrucción no rígida en tiempo real generalizando enfoques de fusión de rango a escenarios no rígidos.

27.- Rendimiento en tiempo real: Logrado a través de representaciones eficientes (TSDF, gráficos de deformación) y operaciones paralelizables en la GPU.

28.- Escalado y compresión: Campo de movimiento volumétrico con transformaciones de cuerpo rígido por punto permite el escalado y la compresión de la superficie.

29.- Desafíos de asociación de datos: Cuando el escalado o la compresión de la superficie excede las posiciones del modelo canónico original, la asociación de datos puede fallar.

30.- Trabajo futuro: Incorporar cierre de bucle explícito para abordar escenarios donde los objetos desaparecen y reaparecen en la vista de la cámara.

Bóveda del Conocimiento construida porDavid Vivancos 2024