El Fin Del Conocimiento - Bóveda 5/28 - CVPR - 2017 - PointNet: Aprendizaje Profundo en Conjuntos de Puntos para Clasificación y Segmentación 3D

graph LR classDef main fill:#f9d4d4, stroke-width:4px, font-size:16px, font-weight:bold classDef pointnet fill:#d4f9d4, stroke-width:3px, font-size:14px classDef pointcloud fill:#d4d4f9, stroke-width:3px, font-size:14px classDef challenges fill:#f9f9d4, stroke-width:3px, font-size:14px classDef architecture fill:#f9d4f9, stroke-width:3px, font-size:14px classDef results fill:#d4f9f9, stroke-width:3px, font-size:14px A["PointNet: Aprendizaje Profundo
en Conjuntos de Puntos
para Clasificación y Segmentación 3D"] --> B["PointNet: clasificación y segmentación
de nubes de puntos 3D. 1"] A --> C["Nube de puntos: 3D en bruto,
formato convertible. 2"] C --> D["Características existentes: hechas a mano,
específicas de la tarea. PointNet aprende. 3"] A --> E["Desafíos: entrada de conjunto no ordenado,
invariancia a permutaciones. 4"] E --> F["Funciones simétricas: mismo valor
para cualquier orden. 5"] A --> G["PointNet básico: transformaciones idénticas de puntos,
agregación simétrica, post-transformación. 6"] G --> H["Alineación de entrada: transformación aprendida
a espacio canónico. 7"] G --> I["Alineación de espacio de incrustación: red de
transformación de características. 8"] G --> J["Regularización: restringir matriz de transformación
cerca de ortogonal. 9"] B --> K["Clasificación: transformaciones de entrada y características,
incrustaciones, agrupamiento, puntuaciones. 10"] B --> L["Segmentación: incrustaciones locales +
global para clasificación punto a punto. 11"] B --> M["ModelNet40: PointNet iguala o supera
a CNNs 3D. 12"] B --> N["ShapeNet: supera el arte previo,
entradas parciales y completas. 13"] B --> O["Semántica: segmenta claramente escenas
en paredes, sillas, mesas. 14"] B --> P["Robustez: maneja puntos faltantes,
elementos extraños, perturbaciones. 15-16"] B --> Q["Puntos críticos: capturan contornos
de objetos, esqueletos, estructuras clave. 17,19"] Q --> R["Forma límite superior: explica
la robustez a corrupción de PointNet. 18"] B --> S["Enfoque unificado: misma arquitectura
para múltiples tareas. 20"] B --> T["Validado: teoría y experimentos
en representación, aproximación, robustez. 21"] A --> U["Trabajo pionero: código y datos liberados,
nueva dirección. 22"] A --> V["Importancia 3D: percepción, interacción
necesitan aprendizaje 3D. 23-24"] C --> W["Aprendizaje existente: convierte a
otros formatos. PointNet aprende directamente. 25"] B --> X["Entrenamiento: 1024 puntos muestreados/forma,
maneja tamaños variables. 26"] B --> Y["Red: MLPs, ReLU, normalización por lotes,
agrupamiento, restricción ortogonal. 27"] B --> Z["Entrenamiento conjunto: de extremo a extremo
transformaciones de entrada y características. 28"] B --> AA["Espacio latente significativo: regiones críticas,
invariantes a corrupción. 29"] B --> AB["Rendimiento y eficiencia: operaciones simples,
evita convoluciones, efectivo, robusto. 30"] class A main class B,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,X,Y,Z,AA,AB pointnet class C,D,W pointcloud class E,F challenges class U,V architecture

Resumen:

1.- PointNet: Arquitectura de aprendizaje profundo para clasificación y segmentación de nubes de puntos 3D.

2.- Nube de puntos: Representación 3D más cercana a los datos de sensores en bruto, fácilmente convertible a/desde otros formatos 3D.

3.- Características existentes de nubes de puntos: Hechas a mano para tareas específicas. PointNet permite aprendizaje de extremo a extremo en nubes de puntos.

4.- Desafíos: Diseñar redes neuronales para entrada de conjunto no ordenado, invariante a n! permutaciones.

5.- Funciones simétricas: Valor de función igual para cualquier orden de argumentos. Se pueden construir redes neuronales simétricas.

6.- PointNet básico: Transformar puntos idénticamente, agregar por función simétrica, post-transformación. Aproxima cualquier función simétrica continua.

7.- Alineación de entrada: Alinear al espacio canónico mediante matriz de transformación aprendida. Similar a redes transformadoras espaciales.

8.- Alineación de espacio de incrustación: Alinear incrustaciones de puntos intermedios usando una red de transformación de características.

9.- Regularización: Restringir matriz de transformación cerca de ortogonal para evitar mínimos locales malos.

10.- Arquitectura de clasificación: Transformadores de entrada y características, incrustaciones de puntos, agrupamiento máximo, puntuaciones de categoría.

11.- Extensión de segmentación: Concatenar incrustaciones de puntos locales con característica global para clasificación punto a punto.

12.- Resultados de ModelNet40: PointNet logra mejor o igual clasificación vs CNNs 3D.

13.- Segmentación de partes ShapeNet: Supera el estado del arte anterior en entradas parciales y completas.

14.- Segmentación semántica: Segmenta claramente escenas 3D en paredes, sillas, mesas, etc.

15.- Robustez a puntos faltantes: Solo 2% de caída en precisión con 50% de puntos eliminados. Más robusto que CNN 3D.

16.- Robustez a elementos extraños y perturbaciones: PointNet maneja datos corruptos mejor que CNN 3D.

17.- Conjunto de puntos críticos: Subconjunto de puntos de entrada que contribuyen a la característica global. Captura contornos/esqueletos de objetos.

18.- Forma límite superior: Región en el espacio donde los puntos producen la misma característica global. Explica la robustez a corrupción de PointNet.

19.- Generalización de aprendizaje de características: Puntos críticos capturan estructuras clave para categorías de objetos no vistas.

20.- Enfoque unificado de reconocimiento 3D: Misma arquitectura para clasificación, segmentación de partes y segmentación semántica.

21.- Validación teórica y experimental: Representación de función simétrica, capacidad de aproximación, propiedades de robustez demostradas.

22.- Comienzo del aprendizaje profundo en nubes de puntos: Una nueva dirección emocionante con código y datos liberados.

23.- Importancia de datos 3D: Aplicaciones emergentes requieren percepción e interacción 3D. Impulsa la necesidad de aprendizaje profundo 3D.

24.- Conversión de formatos 3D: Nubes de puntos en forma canónica, fácilmente convertibles a/desde mallas, vóxeles, etc.

25.- Aprendizaje profundo existente en nubes de puntos: La mayoría de los métodos convierten a otros formatos. PointNet aprende directamente en puntos.

26.- Tamaño de datos de entrenamiento: 1024 puntos muestreados por forma. Maneja tamaños de entrada variables.

27.- Detalles de la red: Perceptrones multicapa, ReLU, normalización por lotes, agrupamiento máximo. Matriz de transformación cerca de ortogonal.

28.- Entrenamiento conjunto de extremo a extremo: Transformadores de entrada y características entrenados junto con el resto de la red.

29.- Espacio latente significativo: Característica global representa regiones críticas invariantes a la corrupción de datos.

30.- Rendimiento y eficiencia: Operaciones simples punto a punto evitan convoluciones costosas. Altamente efectivo y robusto.

Bóveda de Conocimiento construida por David Vivancos 2024