El Fin Del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef embedding fill:#f9d4d4, font-weight:bold, font-size:14px; classDef cortex fill:#d4f9d4, font-weight:bold, font-size:14px; classDef retina fill:#d4d4f9, font-weight:bold, font-size:14px; classDef images fill:#f9f9d4, font-weight:bold, font-size:14px; classDef learning fill:#f9d4f9, font-weight:bold, font-size:14px; classDef basal fill:#d4f9f9, font-weight:bold, font-size:14px; classDef evolution fill:#f9d4f9, font-weight:bold, font-size:14px; A[Terrence Sejnowski
ICLR 2015] --> B[Redes de incrustación en niveles,
sistema operativo. 1] A --> C[La evolución explica la biología. 2] C --> D[La corteza de 6 capas permitió la expansión. 2] A --> E[24 tipos de ganglios codifican
cambios de luz eficientemente. 3] A --> F[Cámara neuromórfica: formas de onda a
pulsos, procesamiento de baja potencia. 4] A --> G[Imágenes naturales: invariancia de escala,
espectro de potencia 1/f^2. 5] G --> H[La percolación revela transición de fase
en la información de la imagen. 6] G --> I[Renormalización análoga al aprendizaje
profundo, punto crítico. 7] A --> J[Priming: aprendizaje poderoso en un solo ensayo,
inconsciente, duradero. 8] J --> K[Supresión por repetición en IT
agudiza representaciones. 9] A --> L[Plasticidad homeostática mantiene tasas de
disparo, permite codificación escasa. 10] L --> M[Plasticidad hebbiana + homeostática
extrae características vía ICA. 11] A --> N[Aprendizaje por diferencia temporal actualiza
pesos por predicción de recompensa. 12] A --> O[Ganglios basales: entradas convergentes,
salidas de dopamina a la corteza. 13] O --> P[Tres bucles de ganglios basales:
sensorial, resultados, planes. 14] A --> Q[El cerebro usa muchos algoritmos de
aprendizaje simultáneos. 15] A --> R[Fuerza sináptica: 5 bits
de precisión por sinapsis. 16] R --> S[Sinapsis de baja probabilidad de liberación
implementan regularización dropout. 17] A --> T[La evolución optimizó las soluciones de
aprendizaje y memoria del cerebro. 18] A --> U[El hipocampo instaura el pasado, los sistemas
de recompensa planifican el futuro. 19] A --> V[Procesamiento inconsciente como el priming
revela aprendizaje cortical. 20] A --> W['Respuestas viscerales' dependen de
la experiencia, complementan el razonamiento. 21] A --> X[El sistema visual codifica más
que solo estímulos visuales. 22] A --> Y[Colículo superior: entradas convergentes
orientan al animal. 23] A --> Z[La corteza proyecta a
vías paralelas del estriado. 24] A --> AA[La naturaleza evolucionó formas sinérgicas
de plasticidad sináptica. 25] A --> AB[El sistema visual construye más
que un modelo sensorial del mundo. 26] G --> AC[La percolación de imágenes naturales tiene
exponente crítico de 0.6. 27] J --> AD[El priming fortalece conexiones altas, debilita
conexiones de actividad moderada. 28] O --> AE[Ganglios basales: arquitectura de
aprendizaje por refuerzo actor-crítico. 29] A --> AF[El cerebro permite respuestas rápidas inconscientes
y lentas complejas. 30] class A,B embedding; class C,D,J,K,Q,U,V,W,AA,AD,AF learning; class E retina; class F,G,H,I,AC,R,S images; class L,M,T,X,AB evolution; class N,O,P,Y,Z,AE basal;

Resumen:

1.-La conferencia tiene dos temas: incrustar redes en un diagrama de niveles e incrustar redes en un sistema operativo.

2.-Nada en biología tiene sentido excepto a la luz de la evolución. La corteza mamífera de 6 capas permitió la expansión de la corteza.

3.-Los 24 tipos de células ganglionares en la retina proporcionan entrada sobre cambios en la intensidad de la luz, permitiendo una representación eficiente.

4.-Una cámara neuromórfica codifica formas de onda continuas como secuencias de pulsos, permitiendo el cálculo de velocidad y procesamiento eficiente de baja potencia.

5.-Las imágenes naturales tienen invariancia de escala y un espectro de potencia 1/f^2, reflejando la escala de ley de potencias.

6.-La teoría de percolación aplicada a imágenes naturales revela una transición de fase en el contenido de información alrededor de los planos de bits medios.

7.-La teoría del grupo de renormalización tiene una analogía formal con las arquitecturas de aprendizaje profundo, sugiriendo que puede estar involucrado un punto crítico.

8.-El priming es un aprendizaje poderoso en un solo ensayo, inconsciente, que puede durar años, reorganizando las representaciones corticales.

9.-La supresión por repetición en la corteza IT después del priming puede agudizar las representaciones aumentando algunas conexiones y disminuyendo otras.

10.-La plasticidad homeostática escala las sinapsis para mantener las tasas de disparo de las neuronas, permitiendo una codificación escasa eficiente de características.

11.-Combinar la plasticidad hebbiana y homeostática permite que la ICA no lineal extraiga características como barras horizontales y verticales.

12.-El aprendizaje por diferencia temporal utiliza la dopamina para actualizar los pesos basándose en errores de predicción de recompensa para el aprendizaje por refuerzo.

13.-Los ganglios basales reciben entradas corticales convergentes y envían salidas a las neuronas de dopamina que inervan toda la corteza.

14.-Tres bucles cortico-ganglios basales-tálamo asocian la entrada sensorial con efectores, resultados y planes en diferentes escalas de tiempo.

15.-Muchos algoritmos de aprendizaje distintos como el priming, la plasticidad homeostática y las diferencias temporales ocurren simultáneamente en el cerebro.

16.-El volumen de las espinas sinápticas es proporcional a la fuerza sináptica, con ~5 bits de precisión por sinapsis.

17.-La mayoría de las sinapsis tienen baja probabilidad de liberación a pesar de la alta precisión de fuerza, posiblemente implementando una forma de regularización dropout.

18.-La evolución ha descubierto soluciones óptimas para muchos problemas en el aprendizaje y la memoria que apenas estamos comenzando a entender.

19.-La experiencia pasada, instanciada por el hipocampo, es evaluada por los sistemas de recompensa para planificar el comportamiento futuro.

20.-El procesamiento inaccesible a la conciencia, como el priming, revela un extenso aprendizaje inconsciente en la corteza.

21.-Las "respuestas viscerales" inconscientes y rápidas dependen de la experiencia y son optimizadas por la evolución para la supervivencia, complementando el razonamiento explícito más lento.

22.-Analizar el sistema visual revela que codifica más que solo estímulos visuales, incluyendo información de valor.

23.-El colículo superior recibe entradas corticales convergentes y ayuda a orientar al animal basándose en entradas sensoriales e internas.

24.-Toda la corteza proyecta al estriado de los ganglios basales, que tiene vías paralelas que apoyan diferentes funciones.

25.-La naturaleza ha evolucionado docenas de formas de plasticidad sináptica que trabajan juntas de manera sinérgica, más allá de solo retropropagación o aprendizaje de Boltzmann.

26.-Los experimentos de priming predictivo muestran que el sistema visual hace más que solo construir un modelo del mundo a partir de la entrada sensorial.

27.-La percolación ocurre en imágenes naturales con un exponente crítico de 0.6, sugiriendo una transición de fase en las estadísticas de la imagen.

28.-Un efecto de agudización ocurre después del priming donde las neuronas fuertemente activas aumentan la conectividad mientras que las neuronas moderadamente activas disminuyen la conectividad.

29.-Los ganglios basales calculan el valor del estado utilizado para actualizar los pesos y tomar decisiones en una arquitectura de aprendizaje por refuerzo actor-crítico.

30.-La arquitectura cerebral permite respuestas rápidas inconscientes para expertos a través de los ganglios basales frente a un razonamiento lento y explícito para decisiones complejas.

Bóveda de Conocimiento construida porDavid Vivancos 2024