El Fin del Conocimiento - Bóveda 5/16 - CVPR - 2016 - Structural-RNN: Aprendizaje Profundo en Gráficos Espacio-Temporales

graph LR classDef main fill:#f9f9f9, stroke:#333, stroke-width:1px, font-weight:bold, font-size:14px classDef spatial_temporal fill:#d4f9d4, stroke:#333, stroke-width:1px, font-weight:bold, font-size:14px classDef structural_rnn fill:#d4d4f9, stroke:#333, stroke-width:1px, font-weight:bold, font-size:14px classDef factor_graphs fill:#f9d4d4, stroke:#333, stroke-width:1px, font-weight:bold, font-size:14px classDef applications fill:#f9f9d4, stroke:#333, stroke-width:1px, font-weight:bold, font-size:14px A["Structural-RNN: Aprendizaje Profundo
en Gráficos Espacio-Temporales"] --> B["CNNs, RNNs exitosos en
comprensión espacial, temporal 1"] A --> C["Los objetos tienen estados correlacionados,
interacciones a través del espacio, tiempo 2"] A --> D["El conocimiento previo mejora
el razonamiento espacio-temporal 3"] A --> E["Structural-RNN inyecta estructuras
espacio-temporales en redes neuronales 4"] E --> F["La mayoría de los enfoques anteriores
son específicos o limitados 5"] E --> G["Transforma el gráfico definido por el usuario
en redes neuronales recurrentes 6"] G --> H["Beneficios: estructura, aprendizaje profundo,
inferencia, entrenamiento, flexibilidad 7"] E --> I["Los nodos del gráfico representan componentes,
los bordes representan interacciones 8"] I --> J["Se utilizan gráficos de factores como
representación intermedia 9"] J --> K["Agrupaciones semánticas de nodos
permiten compartir funciones 10"] J --> L["Nodos de factores parametrizados
por RNNs 11"] L --> M["RNNs de nodos combinan contexto
para predecir etiquetas 12"] L --> N["RNNs de bordes modelan interacciones
evolutivas en el tiempo 12"] E --> O["RNNs conectados en estructura
de gráfico bipartito 13"] E --> P["Enfoque genérico, se aplica a
cualquier gráfico espacio-temporal 14"] E --> Q["Demostrado en problemas diversos:
actividad humana, movimiento, conducción 15"] Q --> R["Gráfico de movimiento humano de
partes del cuerpo interactuantes 16"] R --> S["Entrenado en captura de movimiento
para predecir el siguiente cuadro 17"] R --> T["Genera movimiento realista vs.
ERD, LSTM bases 18"] R --> U["Las células RNN aprendidas codifican
conceptos de movimiento semántico 19"] U --> V["Las células corresponden al movimiento
de la pierna izquierda, derecha 20"] Q --> W["Permite manipular la estructura de
redes neuronales aprendidas 21"] W --> X["RNNs de pierna transferidos generan
nuevas combinaciones de movimiento 22"] Q --> Y["No es posible con una red neuronal
gigante no estructurada 23"] Q --> Z["Resultados impresionantes en reconocimiento
de actividad, anticipación de conducción 24"] E --> AA["Forma fundamentada de transformar
gráficos en RNNs estructurados 25"] E --> AB["Gráficos de factores como representación
intermedia 26"] E --> AC["Escalable debido a la capacidad
de compartir factores 27"] E --> AD["Puede aprender características desde cero
o usar diseñadas a mano 28"] E --> AE["Código fuente hecho
públicamente disponible 29"] E --> AF["Permite inyectar conocimientos previos, demuestra
beneficios en problemas diversos 30"] class A main class B,C,D,I,P,Q,R,S spatial_temporal class E,F,G,H,O,AA,AB,AC,AD,AE,AF structural_rnn class J,K,L,M,N factor_graphs class T,U,V,W,X,Y,Z applications

Resumen:

1.- Las CNNs y RNNs se han aplicado con éxito a la comprensión espacial y temporal, pero no capturan estructuras espacio-temporales ricas en el mundo real.

2.- Los objetos en una escena tienen estados correlacionados e interacciones que se propagan a través del espacio y el tiempo, que los humanos explotan pero los algoritmos a menudo no.

3.- El conocimiento previo sobre interacciones espacio-temporales puede incorporarse en el diseño de algoritmos de aprendizaje para mejorar el razonamiento sobre lo que sucederá a continuación.

4.- Structural-RNN proporciona una forma fundamentada de inyectar estructuras espacio-temporales de alto nivel en redes neuronales, combinando los beneficios de modelos estructurados y aprendizaje profundo.

5.- La mayoría de los enfoques anteriores de aprendizaje profundo estructurado son específicos de problemas o no abordan aplicaciones con interacciones espaciales y temporales ricas.

6.- Structural-RNN transforma un gráfico de interacción espacio-temporal definido por el usuario que captura conocimientos previos algorítmicos en una estructura rica de redes neuronales recurrentes.

7.- Los beneficios incluyen combinar estructura con aprendizaje profundo, inferencia simple de avance, entrenamiento de extremo a extremo y flexibilidad para modificar el gráfico espacio-temporal.

8.- Los nodos del gráfico espacio-temporal representan componentes del problema, los bordes representan interacciones. Las características se llevan en nodos y bordes en cada paso de tiempo.

9.- Se utilizan gráficos de factores como representación intermedia. Los factores de nodo se definen para cada nodo, los factores de borde para bordes espaciales y temporales.

10.- Las agrupaciones semánticas de nodos permiten compartir funciones de factores, mejorando la escalabilidad. Los nodos de factores del mismo tipo comparten funciones a medida que el gráfico se despliega.

11.- Los nodos de factores son parametrizados por RNNs: los factores de nodo se convierten en RNNs de nodo, los factores de borde se convierten en RNNs de borde espacial y temporal.

12.- Los RNNs de nodo combinan información contextual para predecir etiquetas. Los RNNs de borde espacial y temporal modelan interacciones evolutivas en el tiempo.

13.- Los RNNs se conectan en una estructura de gráfico bipartito, con RNNs de borde modelando interacciones individuales y RNNs de nodo combinándolos para hacer predicciones.

14.- El enfoque es genérico y se puede aplicar a cualquier gráfico espacio-temporal. El entrenamiento utiliza características de borde como entradas de RNN para predecir etiquetas.

15.- Structural-RNN se demuestra en problemas espacio-temporales diversos con diferentes modalidades de datos: actividad humana, movimiento humano y anticipación de maniobras de conducción.

16.- El movimiento humano tiene una estructura de gráfico de partes del cuerpo interactuantes que generan movimientos complejos. Los ángulos de las articulaciones son características de nodo.

17.- Se utilizó un conjunto de datos de captura de movimiento para entrenar el modelo para predecir el siguiente cuadro dado el actual.

18.- Structural-RNN genera movimiento predicho más natural y realista en comparación con bases como ERD y LSTM.

19.- El análisis reveló conceptos semánticos codificados en las células de memoria RNN aprendidas, como células del brazo derecho que se activan al mover la mano cerca de la cara.

20.- Se encontraron otras células semánticas correspondientes al movimiento de la pierna izquierda y derecha, activándose cuando la pierna respectiva se movía hacia adelante.

21.- Los conocimientos previos de alto nivel en el gráfico espacio-temporal permiten manipular la estructura de las redes neuronales aprendidas de maneras interesantes.

22.- Los RNNs de pierna de un modelo de movimiento lento se transfirieron a un modelo de movimiento rápido, generando nuevas combinaciones de patrones de movimiento.

23.- Tales manipulaciones de alto nivel no son posibles con una red neuronal gigante no estructurada.

24.- También se obtuvieron resultados impresionantes en las otras aplicaciones de reconocimiento de actividad humana y anticipación de maniobras de conducción.

25.- El enfoque Structural-RNN proporciona una forma genérica y fundamentada de transformar gráficos espacio-temporales en redes neuronales recurrentes estructuradas.

26.- Los gráficos de factores sirven como representación intermedia en la transformación del gráfico de interacción a la estructura RNN.

27.- El enfoque es escalable debido a la capacidad de compartir factores, reduciendo el número de parámetros aprendibles.

28.- Los modelos pueden ser entrenados de extremo a extremo para aprender características desde cero, o pueden incorporar características de entrada diseñadas a mano.

29.- El código fuente para el enfoque Structural-RNN se ha hecho públicamente disponible en línea.

30.- Structural-RNN permite inyectar estructuras espacio-temporales de alto nivel y conocimientos previos en redes profundas y demuestra beneficios en varios problemas diversos.

Bóveda del Conocimiento construida porDavid Vivancos 2024