El Fin Del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef main fill:#f9d4d4, font-weight:bold, font-size:14px; classDef neural fill:#d4f9d4, font-weight:bold, font-size:14px; classDef reasoning fill:#d4d4f9, font-weight:bold, font-size:14px; classDef mac fill:#f9f9d4, font-weight:bold, font-size:14px; classDef future fill:#f9d4f9, font-weight:bold, font-size:14px; A[Christopher Manning
ICLR 2018 ] --> B[Diseñar redes neuronales para
razonamiento 1] A --> C[El razonamiento necesita un
pensamiento deliberado cuidadoso 2] C --> D[El razonamiento manipula el conocimiento,
depende de la composición 3] A --> E[Priorizaciones flexibles permiten
aprendizaje efectivo 4] E --> F[Árboles buen sesgo,
atención alternativa 5] A --> G[Componer razonamiento,
diferenciable, escalable 6] A --> H[CLEVR prueba razonamiento
sobre objetos 7] H --> I[CLEVR tiene programas
especificando pasos 8] H --> J[En el pasado se usó fuerte
supervisión, capas 9] A --> K[Redes MAC introducidas
para razonamiento 10] K --> L[Celda MAC se adapta
para operaciones 11] K --> M[Control, estados de memoria,
atención clave 12] M --> N[Atención simula razonamiento,
mantiene diferenciabilidad 13] K --> O[Pregunta codificada LSTM,
imagen ResNet 14] K --> P[Control atiende pregunta
para consulta 15] K --> Q[Leer relaciona conocimiento
con memoria 16] K --> R[Escribir actualiza memoria
de varias maneras 17] K --> S[Modelos de razonamiento
diferenciables de extremo a extremo 18] S --> T[MAC destaca en
precisión CLEVR 19] S --> U[MAC aprende más rápido,
menos datos 20] S --> V[MAC mejor en
preguntas humanas 21] S --> W[Atención interpreta
pasos de razonamiento 22] K --> X[MAC difiere de
redes modulares 23] K --> Y[Beneficios del control,
memoria, atención 24] A --> Z[Diseño para razonamiento
desafío clave 25] Z --> AA[Límite: pasos ignoran
información recuperada 26] AA --> AB[Memoria influenciando control
ayuda al razonamiento 27] Z --> AC[Atención ayuda a alguna
interpretabilidad 28] AC --> AD[Explicaciones textuales pueden
mejorarlo 29] A --> AE[Objetivos impulsan
investigación en razonamiento 30] class A,B main; class C,D,E,F,Z,AA,AB,AC,AD reasoning; class G,K,L,M,N,O,P,Q,R,S,T,U,V,W,X,Y mac; class H,I,J clevr; class AE future;

Resumen:

1.-Chris Manning discute el diseño de redes neuronales para tareas de cognición y razonamiento de nivel superior más allá de la simple respuesta estímulo-intuitiva.

2.-Los éxitos actuales del aprendizaje profundo están en tareas instintivas para los humanos; el razonamiento requiere un pensamiento deliberado cuidadoso.

3.-El razonamiento se define como la manipulación algebraica del conocimiento adquirido para responder nuevas preguntas. Las reglas de composición son centrales.

4.-Manning aboga por el uso de priorizaciones estructurales apropiadas pero flexibles como sesgos inductivos para permitir un aprendizaje efectivo.

5.-Los modelos estructurados en árbol proporcionan un buen sesgo inductivo pero son difíciles de optimizar. La atención ofrece una alternativa.

6.-El objetivo es fomentar el razonamiento composicional de múltiples pasos en redes neuronales manteniendo la diferenciabilidad y escalabilidad.

7.-El conjunto de datos CLEVR prueba la respuesta a preguntas visuales que requieren razonamiento sobre atributos de objetos, relaciones, números.

8.-Los ejemplos de CLEVR incluyen programas funcionales que especifican pasos de razonamiento para responder la pregunta.

9.-Enfoques anteriores de CLEVR usaron fuerte supervisión de programas funcionales o capas especializadas en ConvNets.

10.-Las redes de Memoria, Atención y Composición (MAC) se introducen para el razonamiento de múltiples pasos.

11.-Las redes MAC utilizan una celda MAC recurrente versátil para adaptar el comportamiento a diferentes operaciones de razonamiento.

12.-Las celdas MAC tienen estados de control y memoria separados. El control extrae instrucciones, leer recupera información, escribir actualiza la memoria.

13.-La atención se utiliza extensamente en las redes MAC para mantener la diferenciabilidad mientras se simula un razonamiento complejo.

14.-La pregunta se codifica con un LSTM. La imagen se codifica con un ResNet como base de conocimiento.

15.-La unidad de control atiende a las palabras de la pregunta para calcular una representación de consulta específica del tiempo.

16.-La unidad de lectura relaciona elementos de la base de conocimiento con la memoria y el control previos para recuperar información.

17.-La unidad de escritura puede usar una capa lineal simple o mecanismos más complejos de autopista o autoatención.

18.-Las redes MAC son modelos completamente diferenciables de extremo a extremo para el razonamiento de múltiples pasos.

19.-En CLEVR, las redes MAC logran un 98.9% de precisión, reduciendo a más de la mitad las tasas de error del estado del arte anterior.

20.-Las redes MAC aprenden mucho más rápido que las alternativas, funcionando bien incluso con 1/10 de los datos de entrenamiento.

21.-En el conjunto de datos CLEVR-Humans que prueba la transferencia a preguntas redactadas por humanos, las redes MAC superan a otros enfoques.

22.-Las distribuciones de atención en las redes MAC ayudan a interpretar los pasos de razonamiento que se realizan en la pregunta y la imagen.

23.-Las redes MAC difieren de las redes de módulos neuronales al usar una celda universal en lugar de módulos especializados.

24.-Las redes MAC se benefician de separar el control y la memoria y usar atención en lugar de normalización condicional como en FiLM.

25.-La charla aboga por diseñar arquitecturas neuronales con sesgos inductivos para el razonamiento como un desafío para la comunidad.

26.-Las limitaciones potenciales son que las redes MAC deciden los pasos de razonamiento independientemente de la información recuperada.

27.-Permitir que la memoria influya en el control futuro podría ayudar al razonamiento impulsado por el conocimiento.

28.-Las distribuciones de atención ayudan a la interpretabilidad de los pasos de razonamiento pero aún tienen limitaciones.

29.-Generar explicaciones textuales junto al razonamiento es una posible dirección para mejorar la explicabilidad.

30.-La charla tiene como objetivo impulsar más investigación en bloques de construcción neuronales para inferencia y razonamiento de nivel superior.

Bóveda de Conocimiento construida porDavid Vivancos 2024