El Fin del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef AI fill:#f9d4d4, font-weight:bold, font-size:14px; classDef reasoning fill:#d4f9d4, font-weight:bold, font-size:14px; classDef language fill:#d4d4f9, font-weight:bold, font-size:14px; classDef knowledge fill:#f9f9d4, font-weight:bold, font-size:14px; classDef challenges fill:#f9d4f9, font-weight:bold, font-size:14px; A["Yejin Choi
ICLR 2021"] --> B["IA de sentido común: gran desafío,
repensar suposiciones. 1"] A --> C["Razonamiento abductivo y contrafactual
vital para el sentido común. 2"] C --> D["La retropropagación permite el razonamiento
abductivo y contrafactual en modelos de lenguaje. 3"] A --> E["Decodificación lógica neuronal: restricciones
lógicas, supera a modelos más grandes. 4"] A --> F["Continuo conocimiento-razonamiento,
el lenguaje encarna conocimiento. 5"] F --> G["Lenguaje: integración neuro-simbólica
símbolo, representa conocimiento. 6"] G --> H["COMET, ATOMIC 2020: gráficos de
conocimiento, modelos neuronales, generalización. 7"] H --> I["Química Social 101, Escrúpulos:
conocimiento de normas sociales y morales. 8"] A --> J["La decodificación lógica neuronal maneja
el ejemplo del 'apunalamiento de hamburguesa', muestra progreso. 9"] A --> K["Se necesita aprendizaje multimodal, el lenguaje
arranca conocimiento indirecto. 10"] A --> L["Meta-razonamiento, autoconciencia ausente
en modelos actuales. 11"] A --> M["Generación abierta más informativa
que tablas de clasificación, opción múltiple. 12"] A --> N["Modelar puntos de vista diversos y contradictorios
es crucial para la IA. 13"] A --> O["El sentido común proporciona conocimiento
de fondo transferible, IA similar a humana. 14"] A --> P["Se necesitan puntos de referencia diversos
resistentes al sesgo y manipulación
mientras los modelos avanzan rápidamente. 15"] A --> Q["El aprendizaje profundo es central, integración
neuro-simbólica con lenguaje clave.
Razonadores modulares pueden ayudar. 16"] A --> R["Desafíos abiertos: aprendizaje interactivo e introspectivo
concepto más allá de mapeos
superficiales de entrada-salida. 17"] class A,B,O AI; class C,D,E,Q reasoning; class F,G,H,I,K,N knowledge; class J,L,M challenges; class P,R future;

Resumen:

1.-La IA de sentido común es un objetivo de investigación ambicioso que requiere repensar muchas suposiciones. Los fracasos pasados no significan que sea imposible.

2.-El razonamiento abductivo y contrafactual es importante para el sentido común amplio, además de la deducción y la inducción.

3.-La retropropagación puede usarse como un algoritmo en tiempo de inferencia para el razonamiento abductivo y contrafactual con modelos de lenguaje.

4.-La decodificación lógica neuronal permite incorporar restricciones lógicas en la generación de lenguaje. Los modelos más pequeños con lógica neuronal superan a los modelos más grandes sin ella.

5.-Parece haber un continuo entre conocimiento y razonamiento. Mucho conocimiento está en el lenguaje.

6.-El lenguaje debe considerarse como un símbolo para la integración neuro-simbólica, no solo lógica. El texto abierto puede representar conocimiento.

7.-COMET y ATOMIC 2020 son gráficos de conocimiento de sentido común que combinan conocimiento simbólico con modelos de lenguaje neuronal para permitir una fuerte generalización.

8.-Química Social 101 y Escrúpulos amplían el alcance del conocimiento de sentido común a normas sociales y morales.

9.-GPT-3 tiene dificultades con el ejemplo del "apunalamiento de hamburguesa", pero la decodificación lógica neuronal lo maneja bien, mostrando progreso en el razonamiento de sentido común desafiante.

10.-El aprendizaje multimodal es necesario para la IA a nivel humano, pero el lenguaje puede ser especialmente importante para arrancar conocimiento que es difícil de experimentar directamente.

11.-El meta-razonamiento sobre lo que el modelo sabe y no sabe es una dirección futura importante. Los modelos actuales carecen de esta autoconciencia.

12.-Las tablas de clasificación y las preguntas de opción múltiple son cada vez menos útiles para medir el progreso de la IA. La generación abierta es más informativa.

13.-Modelar puntos de vista diversos, incluso contradictorios, es importante para que la IA entienda las complejidades de las normas y creencias humanas.

14.-Agregar sentido común hace que la IA sea más similar a los humanos al proporcionar conocimiento de fondo que puede transferirse a través de tareas. Los modelos actuales carecen de esto.

15.-Las formas algorítmicas de construir puntos de referencia más diversos resistentes al sesgo y la manipulación son una dirección de investigación importante a medida que los modelos avanzan rápidamente.

16.-El orador cree que el aprendizaje profundo es central para el progreso de la IA, pero que la integración neuro-simbólica, especialmente con el lenguaje, es clave. Pueden ser necesarios razonadores modulares especializados.

17.-Los desafíos abiertos clave incluyen el aprendizaje interactivo e introspectivo, y el aprendizaje de conceptos más allá de los mapeos superficiales de entrada-salida. Puede ser necesario repensar fundamentalmente el aprendizaje.

Bóveda de Conocimiento construida porDavid Vivancos 2024