El Fin Del Conocimiento - Bóveda 6/49 - CVPR - 2019

graph LR classDef main fill:#f9d4f9, font-weight:bold, font-size:14px classDef background fill:#f9d4d4, font-weight:bold, font-size:14px classDef learning fill:#d4f9d4, font-weight:bold, font-size:14px classDef control fill:#d4d4f9, font-weight:bold, font-size:14px classDef challenges fill:#f9f9d4, font-weight:bold, font-size:14px classDef future fill:#d4f9f9, font-weight:bold, font-size:14px Main["¿Qué debería
aprenderse?"] --> A["Antecedentes y
Experiencia"] Main --> B["Enfoques de Aprendizaje"] Main --> C["Estrategias de Control"] Main --> D["Desafíos y
Consideraciones"] Main --> E["Direcciones Futuras"] A --> A1["Schaal: experto en robótica en
X, USC, MPI 1"] A --> A2["Trabajo de Shaw: aprendizaje motor,
control, refuerzo 2"] A --> A3["Co-fundó conferencia, autor de 400+
publicaciones 3"] A --> A4["Aprendizaje motor: aprender mapeos de estado a
acción 4"] A --> A5["Control directo vs enfoques estructurados de
control 5"] A --> A6["El control motor humano inspira
enfoques robóticos 17"] B --> B1["Paisajes atractivos representan políticas generalizables
6"] B --> B2["RL de integral de trayectoria actualiza
comandos óptimamente 8"] B --> B3["Aprendizaje multitarea: empaquetado o
modelos de mezcla 10"] B --> B4["Aprendizaje residual modifica políticas
existentes 11"] B --> B5["Redes de alta capacidad aprenden modificaciones
complejas 13"] B --> B6["Clonación de comportamiento inicia, aprendizaje de
refuerzo optimiza 23"] C --> C1["Impedancia basada en modelo homogeniza el espacio de trabajo 7"] C --> C2["Maneja dinámicas discontinuas, estados
ocultos 9"] C --> C3["Retroalimentación sensorial se integra en
políticas atractoras 12"] C --> C4["Control estructurado combina planificación,
dinámicas, aprendizaje 14"] C --> C5["El aprendizaje se aplica a la planificación,
control de fuerza 15"] C --> C6["Sistemas afines al control combinan componentes
aprendidos y basados en modelos 25"] D --> D1["Límites en tiempo real complejidad de control
de alta frecuencia 16"] D --> D2["Compromiso estructura-flexibilidad investigación en curso 22"] D --> D3["La representación de políticas afecta generalización,
eficiencia 24"] D --> D4["Equilibrio: almacenar comportamientos vs
generalizar tareas 26"] D --> D5["Integración de percepción y control
para adaptación 27"] D --> D6["Frecuencia del bucle de control crucial
para robots físicos 28"] E --> E1["Aprendizaje autónomo de tareas complejas
sigue siendo desafiante 18"] E --> E2["Aprendizaje automático de máquinas de estado
necesita investigación 19"] E --> E3["Integración de modelos basados/libres mejora eficiencia,
rendimiento 20"] E --> E4["Enfoques estructurados aprovechan el conocimiento
existente 21"] E --> E5["Aprendizaje modular permite transferencia de habilidades
y adaptación 29"] E --> E6["Aprendizaje completamente autónomo de comportamientos
complejos sigue siendo un desafío abierto 30"] class Main main class A,A1,A2,A3,A4,A5,A6 background class B,B1,B2,B3,B4,B5,B6 learning class C,C1,C2,C3,C4,C5,C6 control class D,D1,D2,D3,D4,D5,D6 challenges class E,E1,E2,E3,E4,E5,E6 future

Resumen:

1.- Stefan Schaal es director de robótica en X, ex profesor en USC y director en MPI, con experiencia en IA y robótica.

2.- Shaw ha realizado trabajos fundamentales en aprendizaje motor, control motor, aprendizaje por refuerzo y control basado en modelos.

3.- Co-fundó la Conferencia de Ciencia y Sistemas de Robótica y ha coautorado más de 400 publicaciones.

4.- El objetivo del aprendizaje motor es aprender políticas: funciones que mapean estados a acciones para cualquier tarea de interés.

5.- El control directo implica aprender una política directamente de los datos, mientras que los enfoques estructurados separan retroalimentación, alimentación directa y planificación.

6.- Los paisajes atractivos son una forma de representar políticas que cubren el espacio, permitiendo la generalización a diferentes puntos de partida.

7.- El control de impedancia basado en modelos puede homogenizar el espacio de trabajo, haciendo que el aprendizaje sea transferible a diferentes configuraciones de robots.

8.- El aprendizaje por refuerzo de integral de trayectoria utiliza promedios ponderados de recompensas de trayectoria para actualizar óptimamente los comandos motores.

9.- El RL de integral de trayectoria no requiere gradientes y puede manejar dinámicas discontinuas y estados ocultos.

10.- El aprendizaje multitarea implica empaquetar múltiples tareas en una red o usar modelos de mezcla para modularidad.

11.- El aprendizaje residual añade modificaciones a políticas existentes para adaptarse a nuevas tareas o entornos.

12.- La retroalimentación sensorial puede integrarse en políticas atractoras para modificar el comportamiento basado en interacciones ambientales.

13.- Las redes de alta capacidad pueden usarse para aprender modificaciones complejas a comportamientos base, como la evitación de obstáculos.

14.- El control estructurado combina planificación, dinámicas y aprendizaje en múltiples niveles para sistemas robóticos más eficientes y seguros.

15.- El aprendizaje puede aplicarse a diferentes aspectos del control, incluyendo la planificación de trayectorias y el control de fuerza.

16.- Las restricciones en tiempo real limitan la complejidad de las redes que pueden usarse para el control de fuerza de alta frecuencia.

17.- El control motor humano involucra múltiples sistemas de aprendizaje trabajando simultáneamente, inspirando enfoques similares en robótica.

18.- El aprendizaje autónomo de tareas secuenciales complejas sigue siendo un desafío en robótica.

19.- El aprendizaje automático de máquinas de estado para tareas robóticas es un área importante para la investigación futura.

20.- La integración de enfoques basados en modelos y sin modelos puede mejorar la eficiencia de los datos y el rendimiento de las tareas.

21.- Los enfoques estructurados para la robótica pueden aprovechar el conocimiento existente sobre dinámicas y control para un aprendizaje más rápido.

22.- El compromiso entre estructura y flexibilidad en los sistemas de aprendizaje es un área de investigación en curso.

23.- La clonación de comportamiento puede usarse para enseñar inicialmente tareas a los robots, que luego pueden optimizarse mediante aprendizaje por refuerzo.

24.- La elección de la representación para las políticas (por ejemplo, paisajes atractivos) afecta la generalización y la eficiencia del aprendizaje.

25.- Los sistemas afines al control proporcionan un marco útil para combinar componentes aprendidos y basados en modelos en el control robótico.

26.- El equilibrio entre almacenar comportamientos aprendidos y generalizar a nuevas tareas es una consideración clave en el aprendizaje robótico.

27.- Integrar la percepción y el control motor es crucial para el comportamiento robótico adaptativo en entornos dinámicos.

28.- La frecuencia de los bucles de control es una consideración importante al implementar controladores aprendidos en robots físicos.

29.- Los enfoques de aprendizaje modular permiten una transferencia y adaptación de habilidades más fácil entre diferentes tareas.

30.- El potencial para el aprendizaje completamente autónomo de comportamientos robóticos complejos sigue siendo un desafío abierto en el campo.

Bóveda de Conocimiento construida por David Vivancos 2024