El Fin Del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef machinelearning fill:#f9d4d4, font-weight:bold, font-size:14px; classDef neuralnetworks fill:#d4f9d4, font-weight:bold, font-size:14px; classDef ensemblemultiplexing fill:#d4d4f9, font-weight:bold, font-size:14px; classDef neuroscience fill:#f9f9d4, font-weight:bold, font-size:14px; classDef modeling fill:#f9d4f9, font-weight:bold, font-size:14px; A["Blake Richards
ICLR 2018"] --> B["El aprendizaje automático interpreta el cerebro,
la neurociencia inspira el aprendizaje automático 1"] A --> C["Laboratorio: aprendizaje profundo
en dendritas cerebrales 2"] C --> D["Multiplexión de conjuntos,
solución de asignación de crédito 3"] C --> E["Unidades de redes neuronales:
¿múltiples niveles de estado? 4"] E --> F["Habilitar enrutamiento dinámico
en redes neuronales 5"] A --> G["Corteza mamífera: análogo de red
convolucional multicapa 6"] A --> H["Aprendizaje profundo verdadero:
entrenamiento de extremo a extremo 7"] A --> I["Solución de asignación de crédito
del cerebro poco clara 8"] A --> J["Neuronas piramidales:
estructura dendrítica compleja 9"] J --> K["Dendritas apicales: potenciales no lineales
alteran el disparo 10"] J --> L["Red multicapa construida
simulando neuronas piramidales 11"] L --> M["Retroalimentación aleatoria fija funciona:
'alineación de retroalimentación' 12"] L --> N["Red aprendió representaciones
moldeando capas 13"] J --> O["Dendritas apicales impulsan
disparos en rafaga 14"] O --> P["Multiplexión de conjuntos:
señalización simultánea 15"] P --> Q["Tasa de eventos: de abajo hacia arriba,
probabilidad de rafaga: de arriba hacia abajo 16"] P --> R["Interneuronas inhiben dendritas apicales:
asignación de crédito 17"] P --> S["Modelo de conjunto incorporó microcircuito 18"] S --> T["Probabilidad de rafaga habilita
asignación de crédito 19"] S --> U["Inhibición recurrente previene
gradientes que desaparecen 20"] S --> V["Modelo de conjunto funciona bien,
más robusto 21"] A --> W["Microcircuitos neocorticales probablemente
usen multiplexión de conjuntos 22"] A --> X["Unidades de redes neuronales:
grupos de neuronas 23"] X --> Y["Grupos de neuronas: conectividad compartida,
propiedades 24"] X --> Z["Modelado de conjuntos: estados mesoscópicos
y microscópicos 25"] Z --> AA["Múltiples microestados corresponden
al mismo mesoestado 26"] Z --> AB["Peso mesoscópico: función
de pesos microscópicos 27"] AB --> AC["Pesos microscópicos fijos,
pesos mesoscópicos cambian 28"] AB --> AD["Pesos mesoscópicos: disparo presináptico,
receptividad postsináptica, pesos microscópicos 29"] A --> AE["Enfoque inspirado en la neurociencia: cálculo dependiente del contexto,
enrutamiento en RNA 30"] class B,C machinelearning; class D,E,F,P,Q,R,S,T,U,V,W ensemblemultiplexing; class G,H,I,J,K,L,M,N,O neuralnetworks; class X,Y,Z,AA,AB,AC,AD,AE modeling;

Resumen:

1.-El aprendizaje automático ayuda a los neurocientíficos a interpretar datos cerebrales, mientras que la neurociencia proporciona antecedentes estructurales e inspiración para nuevos enfoques de aprendizaje automático.

2.-El laboratorio del ponente examinó cómo el aprendizaje profundo podría funcionar en el cerebro utilizando dendritas específicas.

3.-Esto llevó al concepto de multiplexión de conjuntos y una posible solución para cómo el cerebro realiza la asignación de crédito.

4.-El trabajo señala si las unidades de redes neuronales deberían tener estados en múltiples niveles (estados meso y micro).

5.-Esto podría habilitar el enrutamiento dinámico en redes neuronales.

6.-El procesamiento visual en la corteza mamífera procede en etapas análogas a una red neuronal convolucional multicapa.

7.-El verdadero aprendizaje profundo requiere entrenamiento de extremo a extremo para asegurar que los cambios ayuden a lograr el objetivo de aprendizaje.

8.-La solución del cerebro para la asignación de crédito no está clara ya que la retropropagación parece biológicamente irrealista.

9.-Las neuronas piramidales neocorticales tienen una estructura compleja en forma de árbol con dendritas basales y apicales que reciben diferentes entradas.

10.-Las dendritas apicales están electrotonicamente distantes del soma y pueden generar potenciales de meseta no lineales que alteran el disparo somático.

11.-Se construyó una red neuronal multicapa simulando neuronas piramidales con dendritas segregadas para la asignación de crédito.

12.-Los pesos de retroalimentación aleatoria fija funcionan debido al efecto de "alineación de retroalimentación" descrito por Lillicrap et al.

13.-La red aprendió representaciones que moldearon las capas iniciales para ayudar a las capas posteriores a categorizar dígitos de MNIST.

14.-Los potenciales de meseta en las dendritas apicales son buenos para impulsar disparos en rafaga, una señal potencialmente distinta para información de arriba hacia abajo.

15.-La multiplexión de conjuntos permite la señalización simultánea de arriba hacia abajo y de abajo hacia arriba al tratar rafagas y picos como eventos.

16.-La tasa de eventos rastrea la entrada somática de abajo hacia arriba mientras que la probabilidad de rafaga rastrea la entrada apical de arriba hacia abajo.

17.-Las interneuronas positivas para somatostatina inhiben las dendritas apicales de las células piramidales locales de las que reciben entrada, formando un microcircuito de asignación de crédito.

18.-Un modelo de conjunto incorporó este microcircuito, con el voltaje apical siendo una función de las tasas de rafaga de arriba hacia abajo y la inhibición recurrente.

19.-La probabilidad de rafaga es el sigmoide del voltaje apical, permitiendo la asignación de crédito sin pausar el cálculo.

20.-La inhibición recurrente se entrena para mantener el voltaje apical cerca de cero, previniendo gradientes que desaparecen y permitiendo más capas.

21.-El modelo de conjunto funciona tan bien como la retropropagación en MNIST y es más robusto a malas inicializaciones de pesos.

22.-Los microcircuitos neocorticales probablemente usan multiplexión de conjuntos e inhibición para la asignación de crédito y prevención de gradientes que desaparecen.

23.-Las unidades en redes neuronales podrían modelarse mejor como grupos de neuronas en lugar de neuronas individuales.

24.-La evidencia biológica apoya que los grupos de neuronas derivadas de la misma célula progenitora tienen conectividad compartida y propiedades funcionales.

25.-Modelar unidades como conjuntos de neuronas requiere diferenciar entre estados mesoscópicos (nivel de conjunto) y microscópicos (neurona individual).

26.-Múltiples microestados (neuronas específicas que disparan/rafaga) pueden corresponder al mismo mesoestado (tasas generales de eventos/rafaga).

27.-Los pesos mesoscópicos entre unidades serían una función de los pesos microscópicos entre las neuronas activas en los conjuntos.

28.-Los pesos microscópicos pueden permanecer fijos mientras que los pesos mesoscópicos cambian en base a los microestados, permitiendo el enrutamiento dinámico de información.

29.-Los pesos mesoscópicos pueden modelarse como un producto del disparo presináptico, la receptividad de entrada postsináptica y los pesos microscópicos.

30.-Aunque aún se está desarrollando, este enfoque inspirado en la neurociencia podría proporcionar un cálculo y enrutamiento dependiente del contexto poderoso en redes neuronales artificiales.

Bóveda de Conocimiento construida porDavid Vivancos 2024