Conocimiento Bóveda 2/55 - ICLR 2014-2023
Pierre-Yves Oudeyer ICLR 2019 - Charla Invitada - Aprendizaje Autónomo del Desarrollo: IA, Ciencias Cognitivas y Tecnología Educativa
<Imagen del Resumen>

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4 | Gemini Adv | Llama 3:

graph LR classDef learning fill:#f9d4d4, font-weight:bold, font-size:14px; classDef development fill:#d4f9d4, font-weight:bold, font-size:14px; classDef exploration fill:#d4d4f9, font-weight:bold, font-size:14px; classDef applications fill:#f9f9d4, font-weight:bold, font-size:14px; classDef future fill:#f9d4f9, font-weight:bold, font-size:14px; A[Pierre-Yves Oudeyer
ICLR 2019] --> B[Niños: aprendices autónomos extraordinarios. 1] A --> C[Robótica del desarrollo
estudia el aprendizaje de habilidades. 2] C --> D[Modelos algorítmicos entienden,
aplican desarrollo. 3] C --> E[Fuerzas del desarrollo: morfología
, sesgos, motivación. 4] A --> F[Exploración impulsada por la curiosidad
de los niños. 5] F --> G[El niño explora para
modelos predictivos del mundo. 6] F --> H[Hipótesis de progreso de aprendizaje
para el interés. 7] A --> I[Parques robóticos modelan
descubrimientos de alta dimensión. 8] I --> J[Ingredientes de motivación intrínseca:
primitivas, memoria. 9] I --> K[Medidas de interés:
progreso del modelo directo/inverso. 10] I --> L[Experimentos de predicción muestrean
regiones de alto progreso. 11] I --> M[Dividir espacios, monitorear
progreso permite aprendizaje. 12] I --> N[Exploración modular
controla objetos eficientemente. 13] I --> O[Exploración de objetivos supera
modelo directo. 14] O --> P[Exploración de objetivos produce
efectos diversos. 15] I --> Q[Aprender espacios de objetivos de
píxeles es desafiante. 16] A --> R[Modelo de desarrollo vocal
impulsado por la curiosidad. 17] R --> S[Modelo replica etapas de
vocalización infantil. 18] R --> T[Simulaciones multiagente
generan distribuciones de lenguaje. 19] A --> U[Exploración humana se centra en
complejidad intermedia. 20] A --> V[Algoritmos de curiosidad generan
currículos personalizados. 21] V --> W[El sistema rastrea el progreso,
propone ejercicios óptimos. 22] V --> X[Variaciones del algoritmo aumentan
motivación vs diseño experto. 23] A --> Y[El papel de la exploración espontánea
necesita más estudio. 24] A --> Z[Exploración de objetivos permite
aprendizaje eficiente en robots. 25] Z --> AA[Mecanismos modelan desarrollo,
uso de herramientas, lenguaje. 26] A --> AB[La curiosidad mejora las
tecnologías educativas. 27] A --> AC[La comunicación verbal se inicia
sin modelos de agentes. 28] A --> AD[Modelos inversos dependen de
representaciones aprendidas. 29] A --> AE[Aprender representaciones para
curiosidad es desafiante. 30] class B,C,D,E development; class F,G,H,I,J,K,L,M,N,O,P,Q,R,S,T,U,Y exploration; class V,W,X,AB applications; class Z,AA,AC,AD,AE future;

Resumen:

1.-Los niños son aprendices extraordinarios que adquieren habilidades cotidianas de manera autónoma y desarrollada, sin que ingenieros externos ajusten hiperparámetros para cada nueva tarea.

2.-La robótica del desarrollo estudia cómo se forman las estructuras de desarrollo y su papel potencial en el aprendizaje de habilidades bajo límites de tiempo, energía y cálculo.

3.-Los investigadores desarrollan modelos algorítmicos del desarrollo humano para entenderlo, aplicar conocimientos a IA/ML para máquinas más flexibles y desarrollar tecnologías educativas.

4.-La morfología corporal, los sesgos cognitivos, la guía social y la motivación intrínseca son fuerzas de desarrollo estudiadas que actúan como guías o restricciones sobre el aprendizaje.

5.-Los niños se involucran en la exploración impulsada por la curiosidad, estando intrínsecamente interesados en la novedad, la disonancia cognitiva, la sorpresa y el desafío óptimo, como lo discuten los psicólogos desde los años 1940-50.

6.-Un marco ve al niño como un organismo que busca sentido explorando para crear modelos predictivos del mundo y controlar el mundo a través de experimentos motivados intrínsecamente.

7.-La hipótesis de progreso de aprendizaje propone que el interés de un experimento es proporcional a la cantidad de cambio en los errores de predicción o logro de objetivos.

8.-Los investigadores utilizan parques robóticos como herramientas de modelado para estudiar mecanismos que permiten los descubrimientos de los niños en entornos de alta dimensión, como descubrir posibilidades y comunicación verbal.

9.-Los sistemas de motivación intrínseca utilizan ingredientes como primitivas de movimiento dinámico, percepción basada en objetos, aprendizaje de modelos directo/inverso auto-supervisado, memoria episódica y organización autónoma del currículo de aprendizaje.

10.-Dos formas propuestas para medir el interés para la exploración son el progreso del aprendizaje en modelos directos para elegir parámetros de política, o en modelos inversos para objetivos.

11.-Los experimentos de predicción muestrean parámetros de política en regiones de modelos directos con alto progreso de predicción de aprendizaje. La exploración de objetivos muestrea descriptores de objetivos que maximizan el progreso de competencia.

12.-Dividir los espacios de parámetros/objetivos en regiones, monitorear el progreso del aprendizaje en cada una y enfocar la exploración en regiones de alto progreso permite un aprendizaje eficiente en altas dimensiones.

13.-La exploración modular de objetivos en robots aprende eficientemente a descubrir y controlar diferentes objetos enfocándose en aquellos que proporcionan el máximo progreso de aprendizaje.

14.-La exploración impulsada por la curiosidad de un modelo directo es menos eficiente que la exploración de objetivos debido a la redundancia y las inhomogeneidades típicas en los espacios robóticos.

15.-La exploración de objetivos incentiva ser bueno en promedio al producir efectos diversos, mientras que la exploración del modelo directo puede solo aprender muchas formas de producir pocos efectos.

16.-Aprender representaciones de espacios de objetivos desentrelazados a partir de píxeles es posible usando beta-VAE pero más difícil en configuraciones robóticas realistas que usando representaciones basadas en objetos.

17.-Un modelo de desarrollo vocal usando aprendizaje impulsado por la curiosidad reproduce las etapas de desarrollo de las vocalizaciones infantiles, incluyendo el cambio de la autoexploración a la imitación.

18.-Las trayectorias de desarrollo que emergen del modelo exhiben tanto regularidad en el orden típico de las etapas como diversidad en las diferencias individuales, coincidiendo con el desarrollo infantil.

19.-Simulaciones multiagente con aprendices vocales motivados intrínsecamente que juegan juegos de lenguaje conducen a sistemas de comunicación emergentes sincronizados que se mapean bien a las distribuciones de lenguajes del mundo.

20.-Nuevos paradigmas de comportamiento humano estudian la exploración libre a través de muchas tareas, encontrando que los sujetos se centran en niveles de complejidad intermedia que corresponden al máximo progreso de aprendizaje.

21.-Los algoritmos impulsados por la curiosidad pueden generar currículos personalizados para los aprendices humanos que maximizan la eficiencia y motivación del aprendizaje, como para las matemáticas de la escuela primaria.

22.-Para cada estudiante, el sistema rastrea el progreso del aprendizaje a través de las propiedades de los ejercicios y propone ejercicios que maximizan el progreso, superando las progresiones fijas diseñadas por expertos.

23.-Las variaciones del algoritmo resultan en que los niños estén más motivados intrínsecamente sobre el aprendizaje de matemáticas en comparación con un algoritmo "oráculo" diseñado por expertos.

24.-La exploración espontánea juega un papel fundamental en el desarrollo que aún no se entiende bien ni se estudia en el aprendizaje automático, pero presenta un camino futuro importante.

25.-La exploración de objetivos autónoma y el progreso del aprendizaje permiten que los robots del mundo real aprendan habilidades complejas en altas dimensiones organizando autónomamente trayectorias de desarrollo.

26.-Los mismos mecanismos pueden modelar la autoorganización del desarrollo infantil, el descubrimiento del uso de herramientas y aspectos de la adquisición del lenguaje.

27.-Las tecnologías educativas pueden mejorarse aplicando algoritmos impulsados por la curiosidad para generar currículos personalizados adaptados al progreso de cada aprendiz a través de múltiples dimensiones.

28.-La comunicación básica del habla puede iniciarse sin requerir inicialmente modelos mentales de otros como agentes, lo que puede surgir más fácilmente después de que se desarrollen estructuras de interacción.

29.-El aprendizaje de modelos inversos para la exploración de objetivos actualmente depende de representaciones de estado y métricas de similitud, que pueden aprenderse en agentes incorporados aprovechando la estructura de correlación temporal.

30.-El trabajo en curso se centra en aprender funciones de distancia y representaciones que permitan la exploración y el aprendizaje impulsados por la curiosidad sin espacios de objetivos proporcionados externamente, un desafío clave.

Bóveda del Conocimiento construida porDavid Vivancos 2024