El Fin Del Conocimiento - Bóveda 6/33 - CVPR - 2018 - De Lenguaje a Acción: hacia el Aprendizaje de Tareas Interactivas con Agentes Físicos

graph LR classDef core fill:#f9d4d4, font-weight:bold, font-size:14px classDef language fill:#d4f9d4, font-weight:bold, font-size:14px classDef learning fill:#d4d4f9, font-weight:bold, font-size:14px classDef causality fill:#f9f9d4, font-weight:bold, font-size:14px classDef challenges fill:#f9d4f9, font-weight:bold, font-size:14px Main["De Lenguaje a Acción:
hacia el Aprendizaje de Tareas
Interactivas con Agentes
Físicos"] Main --> A["Aprendizaje de tareas interactivas:
comunicación humano-robot 1"] A --> B["Terreno común permite
comunicación efectiva 2"] A --> C["Vinculación del lenguaje al
entorno físico 3"] Main --> D["Comprensión del lenguaje"] D --> E["Semántica de verbos: especificación
de marcos de acción 4"] E --> F["Argumentos implícitos y explícitos
en los verbos 5"] D --> G["Vinculación del lenguaje a
acciones robóticas 9"] D --> H["Semántica de verbos vinculados:
representación de estados resultantes 10"] D --> I["Teoría pragmática social
de adquisición del lenguaje 11"] Main --> J["Enfoques de aprendizaje"] J --> K["Aprendizaje incremental a través de
interacción humano-robot 12"] K --> L["Espacios de hipótesis para
generalización del significado de verbos 13"] J --> M["Aprendizaje por refuerzo para
optimización de interacción 14"] J --> N["Arranque desde imágenes web
para aprendizaje 17"] J --> O["Representación de cambio dinámico
usando datos de video 18"] J --> P["Algoritmos de aprendizaje incremental
e interactivo de por vida 21"] Main --> Q["Causalidad y efectos"] Q --> R["Modelado de causalidad guía
percepción y vinculación 6"] Q --> S["Descripción de efectos de acción
por crowdsourcing 7"] S --> T["18 dimensiones de
cambio de objetos identificadas 8"] Q --> U["Física ingenua: comprensión básica
de causa-efecto 15"] Q --> V["Predicción de efectos de acción:
causas y efectos potenciales 16"] Q --> W["Razonamiento causal para
toma de decisiones y planificación 23"] W --> X["Distinción entre conocimiento
causa-efecto físico y social 24"] Main --> Y["Desafíos y direcciones futuras"] Y --> Z["Colaboración multidisciplinaria necesaria 19"] Y --> AA["Representaciones ricas e interpretables
para comprensión 20"] Y --> AB["Incorporación de conocimiento previo
para iniciar el aprendizaje 22"] Y --> AC["Combinación de representaciones
neuronales y simbólicas 25"] Y --> AD["Señales sociales en
escenarios de enseñanza humano-robot 26"] Y --> AE["Representaciones internas independientes del lenguaje 27"] Y --> AF["Diálogo extendido con
conocimiento de sentido común 28"] Y --> AG["Desafíos de destreza en
tareas de manipulación robótica 29"] Y --> AH["Compartición de conocimiento entre
robots y adaptación 30"] class A,B,C core class D,E,F,G,H,I language class J,K,L,M,N,O,P learning class Q,R,S,T,U,V,W,X causality class Y,Z,AA,AB,AC,AD,AE,AF,AG,AH challenges

Resumen:

1.- Aprendizaje de tareas interactivas: Enseñar a los robots nuevas tareas a través de la interacción natural y la comunicación con los humanos.

2.- Terreno común: Conocimiento y creencias compartidas que permiten una comunicación efectiva entre humanos y robots.

3.- Vinculación del lenguaje a la percepción: Conectar expresiones lingüísticas con objetos y eventos en el entorno físico.

4.- Semántica de verbos: Capturar el significado de los verbos de acción usando marcos que especifican los ingredientes clave de la acción.

5.- Argumentos implícitos y explícitos: Argumentos de verbos que pueden o no estar explícitamente declarados en el lenguaje pero son importantes para la comprensión.

6.- Modelado de causalidad: Representar cómo cambia el mundo como resultado de acciones para guiar la percepción y la vinculación.

7.- Descripción de efectos de acción por crowdsourcing: Usar la entrada humana para recopilar descripciones de cómo cambian los objetos después de acciones específicas.

8.- Dimensiones del cambio: Identificar 18 dimensiones a lo largo de las cuales los objetos pueden cambiar como resultado de acciones.

9.- Vinculación del lenguaje a la acción: Traducir comandos de lenguaje de alto nivel en secuencias de acciones robóticas primitivas.

10.- Semántica de verbos vinculados: Representar verbos en términos de estados resultantes en lugar de secuencias de acciones primitivas.

11.- Teoría pragmática social: Los niños adquieren el lenguaje como un subproducto de la interacción social, usando habilidades cognitivas básicas.

12.- Enfoque de aprendizaje incremental: Los robots adquieren y refinan continuamente la semántica de los verbos a través de la interacción con los humanos y el entorno.

13.- Espacios de hipótesis: Representar posibles significados de verbos y generalizar de experiencias específicas a conceptos más abstractos.

14.- Aprendizaje por refuerzo para la interacción: Aprender cuándo hacer preguntas para resolver ambigüedades de una manera que maximice la recompensa a largo plazo.

15.- Física ingenua: Comprensión básica de las relaciones causa-efecto entre acciones y estados percibidos del mundo.

16.- Predicción de efectos de acción: Dada una acción, identificar efectos potenciales, o dado un efecto, identificar causas potenciales.

17.- Arranque desde imágenes web: Usar imágenes recuperadas de la web para complementar ejemplos anotados para aprender efectos de acción.

18.- Representación de cambio dinámico: Usar datos de video para capturar los aspectos temporales de los efectos de acción.

19.- Colaboración multidisciplinaria: La necesidad de que expertos de varios campos trabajen juntos en la comunicación del lenguaje con robots.

20.- Representaciones ricas e interpretables: Representaciones internas de robots que pueden llevar a humanos y robots a una comprensión conjunta.

21.- Algoritmos de aprendizaje incremental e interactivo: Métodos de aprendizaje que apoyan el aprendizaje de por vida a partir de interacciones con humanos y el entorno.

22.- Incorporación de conocimiento previo: Proporcionar a los robots un conocimiento inicial fuerte para iniciar el aprendizaje.

23.- Razonamiento causal: La importancia de comprender las relaciones causa-efecto para la toma de decisiones y la planificación de acciones.

24.- Conocimiento causa-efecto físico vs. social: Distinguir entre el conocimiento sobre acciones físicas y el conocimiento que guía las interacciones sociales.

25.- Combinación de redes neuronales y representaciones simbólicas: Usar ambos enfoques para aprovechar sus respectivas fortalezas.

26.- Señales sociales en el aprendizaje: Aprovechar el lenguaje corporal, la mirada y la atención conjunta en escenarios de enseñanza humano-robot.

27.- Representaciones independientes del lenguaje: Desarrollar representaciones internas que puedan funcionar en diferentes idiomas humanos.

28.- Diálogo natural extendido: El papel potencial del conocimiento de sentido común en permitir conversaciones más largas y coherentes.

29.- Desafíos de destreza: La dificultad de lograr una destreza a nivel humano en tareas de manipulación robótica.

30.- Compartición de conocimiento entre robots: El potencial para que los robots compartan modelos aprendidos y los adapten a nuevas situaciones.

Bóveda de Conocimiento construida porDavid Vivancos 2024