El Fin Del Conocimiento - Bóveda 5/32 - CVPR - 2018 - Captura Total: Un Modelo de Deformación 3D para el Seguimiento de Caras, Manos y Cuerpos

graph LR classDef model fill:#f9d4d4, font-weight:bold, font-size:14px classDef capture fill:#d4f9d4, font-weight:bold, font-size:14px classDef technical fill:#d4d4f9, font-weight:bold, font-size:14px classDef results fill:#f9f9d4, font-weight:bold, font-size:14px A["Captura Total: Un
Modelo de Deformación 3D
para el Seguimiento de Caras,
Manos y Cuerpos"] --> B["El modelo 3D sigue caras,
manos, cuerpos 1"] B --> C["Frank: partes unidas,
jerarquía de esqueleto único 2"] B --> D["Adam: captura total,
más simple que Frank 3"] A --> E["El movimiento corporal transmite
comunicación social 4"] A --> F["Los sistemas analizan partes,
no el espectro completo 5"] B --> G["Cuerpo: SMPL con
forma, pose, traducción 6"] B --> H["Cara: mezcla PCA de
forma, expresión 7"] B --> I["Mano: malla deformada
por escalado óseo 8"] A --> J["Puntos clave 3D ajustan
modelos vía triangulación 9"] A --> K["ICP empareja puntos
con modelos de malla 10"] A --> L["Objetivo: puntos clave, ICP,
costuras, costos previos 11"] L --> M["Restricciones de costura evitan
discontinuidades de partes 12"] L --> N["Previos evitan sobreajuste
ruido, inconsistencias 13"] D --> O["Conjunto de datos Adam: 70 sujetos,
movimientos cortos 14"] D --> P["PCA en superficies ajustadas
produce forma 15"] A --> Q["Captura total: parámetros unificados,
sin costuras 16"] A --> R["Superposición con siluetas
cuantifica rendimiento 17"] A --> S["Secuencias desafiantes
demuestran realismo 18"] A --> T["Manos sin marcadores superan
cuerpo, cara 19"] A --> U["Detectores de aprendizaje pueden
superar métodos basados en marcadores 20"] class B,C,D,G,H,I model class E,F,Q,T capture class J,K,L,M,N technical class O,P,R,S,U results

Resumen:

1.- Captura total: modelo de deformación 3D para el seguimiento de caras, manos y cuerpos simultáneamente.

2.- Modelo Frank: Creado uniendo modelos de partes individuales en una jerarquía de esqueleto único.

3.- Modelo Adam: Derivado de Frank, permite la captura de movimiento corporal total con una parametrización más simple.

4.- Comunicación social: Transmitida por el movimiento organizado de todo el cuerpo, incluyendo expresiones faciales, gestos de manos y postura corporal.

5.- Sistemas existentes: Se centran en escalas o partes particulares, dificultando el análisis concurrente del espectro completo de señales sociales.

6.- Modelo corporal: Modelo SMPL con modificaciones menores, definido por parámetros de forma, pose y traducción.

7.- Modelo facial: Modelo generativo PCA construido a partir del conjunto de datos FaceWarehouse, combinando subespacios de forma y expresión.

8.- Modelo de mano: Malla articulada por un artista deformada mediante skinning de mezcla lineal, con parámetros de escalado para cada hueso.

9.- Detección de puntos clave 3D: Utilizada para ajustar los modelos, obtenida mediante triangulación de detecciones de puntos clave 2D en múltiples vistas.

10.- Punto Más Cercano Iterativo (ICP): Utilizado para emparejar puntos 3D no correspondidos de reconstrucción estéreo multivista con los modelos de malla.

11.- Función objetivo: Incluye puntos clave anatómicos, ICP, restricción de costuras y costos previos para ajustar los modelos a los datos.

12.- Restricciones de costura: Fomentan que los vértices alrededor de las partes de costura estén cerca, evitando discontinuidades entre modelos de partes.

13.- Costo previo: Establecido sobre parámetros del modelo para evitar sobreajuste al ruido en nubes de puntos 3D e inconsistencias en ubicaciones de articulaciones.

14.- Captura del conjunto de datos Adam: 70 sujetos realizando un rango corto de movimiento, reconstruido con el modelo Frank para construir Adam.

15.- Espacio de deformación de forma: Análisis PCA en superficies ajustadas deformadas a pose canónica captura variaciones en todo el cuerpo.

16.- Captura de movimiento total: Optimiza una función de costo similar a la de Frank, pero con un conjunto unificado de parámetros y sin restricciones de costura.

17.- Evaluación cuantitativa: Mide la superposición con siluetas de verdad de terreno, comparando modelos SMPL, Frank y Adam.

18.- Resultados cualitativos: Demuestra el método en varias secuencias desafiantes, mostrando más realismo que SMPL solo.

19.- Captura de manos sin marcadores: Muestra mejor calidad de localización que la captura de cuerpo y cara en los resultados.

20.- Potencial para superar métodos basados en marcadores: Los detectores de puntos clave basados en aprendizaje pueden proporcionar mediciones para partes ocultas.

Bóveda de Conocimiento construida porDavid Vivancos 2024