El Fin Del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef main fill:#f9d4d4, font-weight:bold, font-size:14px; classDef visual fill:#d4f9d4, font-weight:bold, font-size:14px; classDef receptive fill:#d4d4f9, font-weight:bold, font-size:14px; classDef cnn fill:#f9f9d4, font-weight:bold, font-size:14px; classDef retina fill:#f9d4f9, font-weight:bold, font-size:14px; classDef model fill:#d4f9f9, font-weight:bold, font-size:14px; classDef biology fill:#f9d4d4, font-weight:bold, font-size:14px; A[Jack Lindsey et al
ICLR 2019] --> B[Representaciones visuales en el cerebro
usando CNNs 1] A --> C[Neuronas: campos receptivos para
patrones de estímulos 2] C --> D[Retina: centro-periferia, V1: detección de bordes 3] B --> E[Por qué los campos receptivos difieren
en formas 4] A --> F[Las CNNs se mapean en la corteza visual
humana/mono 5] F --> G[Las CNNs omiten centro-periferia,
realizan detección de bordes 6] A --> H[Una CNN de 4 capas explora campos
receptivos biológicos 7] H --> I[El modelo base aprende filtros de detección de bordes 8] A --> J[Retina, cerebro distintos, cuello de botella
del nervio óptico 9] J --> K[Salida de la retina menos neuronas
que fotorreceptores, V1 10] H --> L[La restricción del cuello de botella produce centro-periferia 11] L --> M[Después de la expansión, campos receptivos
similares a bordes resurgentes 12] H --> N[Las restricciones explican las diferencias
en campos receptivos 13] H --> O[Modelo simplificado, se necesita considerar la no linealidad 14] A --> P[Humanos, macacos: centro-periferia cuasi-lineal 15] P --> Q[Ratas: tipos de células no lineales 15] Q --> R[Células lineales: sin características semánticas 16] Q --> S[Células no lineales: funciones específicas 16] A --> T[Cerebro, sofisticación del sistema visual varía 17] T --> U[Ratas: 1M de neuronas en la corteza visual 17] T --> V[Humanos: miles de millones de neuronas 17] A --> W[Representaciones retinianas cambian con
sofisticación descendente 18] W --> X[Redes profundas: la retina preserva la entrada 19] W --> Y[Redes poco profundas: la retina extrae características 19] X --> Z[La linealidad retiniana aumenta con
profundidad de la red 20] Y --> AA[La separabilidad disminuye con la profundidad de la red 20] Y --> AB[Redes poco profundas inducen características
retinianas relevantes para la tarea 21] A --> AC[Biología: retina lineal en
animales con corteza sofisticada 22] AC --> AD[Reverso en mamíferos más pequeños 22] H --> AE[Las tendencias surgen de la interacción
entre capas del sistema visual 23] AE --> AF[Sin cuello de botella: sin tendencias de linealidad,
separabilidad 24] A --> AG[El modelo explica campos receptivos
y diferencias entre especies 25] AG --> AH[Variaciones de arquitectura y capas imitan
las diferencias entre mamíferos 26] A --> AI[Detalles en la sesión de póster 27] A --> AJ[Se cuestiona la utilidad de las neuronas lineales 28] AJ --> AK[Redes en salidas retinianas
superan a entradas crudas 29] AK --> AL[Centro-periferia puede beneficiar optimización,
separación semántica 30] class A main; class B,C,D,E,P,Q,R,S,T,U,V,AC,AD visual; class F,G cnn; class H,I,N,O,AE,AF,AG,AH,AI model; class J,K,W,X,Y,Z,AA,AB,AJ,AK,AL retina; class L,M receptive; class A,B main; class C,D,E,P,Q,R,S,T,U,V,AC,AD visual; class F,G,H,I,N,O,AE,AF,AG,AH,AI model; class J,K,W,X,Y,Z,AA,AB,AJ,AK,AL retina; class L,M receptive;

Resumen:

1.-La charla explora el uso de redes neuronales convolucionales (CNNs) para entender las representaciones visuales en el cerebro, enfocándose en la retina y la corteza visual.

2.-Las neuronas en las capas de procesamiento visual se caracterizan por campos receptivos, que describen patrones espaciales de estímulos que las activan o inhiben.

3.-Las células ganglionares de la retina exhiben campos receptivos centro-periferia, mientras que las neuronas en la primera capa de la corteza visual (V1) muestran patrones de detección de bordes.

4.-La charla busca entender por qué los campos receptivos tienen estas formas y difieren entre la retina y la corteza visual temprana.

5.-Las redes neuronales convolucionales entrenadas en tareas de procesamiento de imágenes aprenden representaciones que se mapean bien en la corteza visual humana o de mono.

6.-Sin embargo, los filtros de las capas tempranas en las CNNs entrenadas típicamente realizan detección de bordes, omitiendo la etapa característica de centro-periferia similar a la retina vista en sistemas biológicos.

7.-El estudio utiliza una CNN simple de 4 capas entrenada en CIFAR-10 para explorar cambios arquitectónicos que inducen patrones de campos receptivos observados biológicamente.

8.-Las neuronas de la capa temprana del modelo base aprenden filtros de detección de bordes, planteando la pregunta de qué falta para producir resultados más biológicos.

9.-La retina y el cerebro son entidades distintas conectadas por el nervio óptico, que impone un cuello de botella físico en la comunicación.

10.-La salida de la retina tiene menos neuronas que los fotorreceptores precedentes y la primera capa de la corteza visual (V1).

11.-Incorporar una restricción de cuello de botella en el modelo al reducir las neuronas en la capa de "salida de retina" lleva a campos receptivos centro-periferia emergentes.

12.-La capa subsiguiente, después de la expansión dimensional similar a V1, exhibe campos receptivos similares a bordes resurgentes.

13.-Las restricciones arquitectónicas pueden explicar las diferencias en los patrones de campos receptivos a través de las capas de procesamiento visual.

14.-El modelo está simplificado, y se deben considerar complejidades adicionales como la no linealidad en las neuronas de capas tempranas.

15.-En humanos y macacos, los modelos centro-periferia cuasi-lineales describen bien las salidas de las células ganglionares de la retina, mientras que los ratones tienen muchos tipos de células no lineales.

16.-Las células lineales no extraen características semánticamente interesantes, mientras que las células no lineales (como las células W3 en ratones) pueden servir funciones específicas.

17.-La sofisticación del cerebro y el sistema visual difiere entre ratones (1 millón de neuronas en la corteza visual) y humanos (unos pocos miles de millones).

18.-El estudio explora cómo cambian las representaciones retinianas con la sofisticación de la línea de procesamiento visual descendente.

19.-En modelos con componentes descendentes más profundos, la capa retiniana preserva las características de entrada, mientras que las redes más superficiales inducen la extracción de características no lineales.

20.-Cuantitativamente, la linealidad de la respuesta retiniana aumenta con la profundidad de la red descendente, mientras que la separabilidad de clases de objetos disminuye, sugiriendo preservación de información frente a extracción de características.

21.-Las redes descendentes más superficiales inducen una extracción de características más relevante para la tarea en la etapa retiniana.

22.-Esto se mapea en la biología, con animales de corteza visual más sofisticada exhibiendo respuestas retinianas lineales y el reverso en mamíferos más pequeños.

23.-Estas tendencias no son propiedades genéricas de las CNNs, sino que surgen de la interacción entre la sofisticación del sistema visual y la dimensionalidad de las capas tempranas.

24.-Los modelos sin el cuello de botella de salida retiniana no muestran tendencias pronunciadas en linealidad y separabilidad con la profundidad descendente.

25.-El modelo unificado explica los campos receptivos centro-periferia y de detección de bordes, y las diferencias entre especies en la linealidad retiniana y la extracción de características.

26.-Variar la arquitectura y las capas descendentes puede explicar resultados similares a las diferencias entre mamíferos más y menos sofisticados.

27.-Más detalles sobre el modelo y preguntas específicas están disponibles en la sesión de póster.

28.-Se cuestiona la utilidad biológica de proyectar neuronas lineales, ya que no realizan cálculos significativos.

29.-Los experimentos muestran que las redes entrenadas en salidas retinianas superan a las entrenadas en entradas crudas, incluso con salidas retinianas linealizadas.

30.-Las representaciones retinianas centro-periferia pueden beneficiar la optimización y el aprendizaje de separaciones semánticas de clases necesarias para comportamientos útiles, pero se necesita más trabajo para entender esto.

Bóveda de Conocimiento construida porDavid Vivancos 2024