El Fin Del Conocimiento - Bóveda 6/9 - CVPR - 2015 - Comprensión del Lenguaje Natural: Fundamentos y Estado del Arte

graph LR classDef main fill:#f9d4d4, font-weight:bold, font-size:14px classDef intro fill:#d4f9d4, font-weight:bold, font-size:14px classDef linguistics fill:#d4d4f9, font-weight:bold, font-size:14px classDef distributional fill:#f9f9d4, font-weight:bold, font-size:14px classDef models fill:#f9d4f9, font-weight:bold, font-size:14px Main["Comprensión del Lenguaje Natural:
Fundamentos y Estado del Arte"] Main --> A["Introducción a CLN"] A --> A1["CLN: Definiendo, relacionando con
prueba de Turing 1"] A --> A2["IBM Watson: Ganador de Jeopardy,
aplicaciones de CLN 2"] A --> A3["Técnicas de CLN: Vectores, árboles,
marcos, formas 3"] A --> A4["Transferencia de ideas PNL/AA: HMMs,
CRFs, LSTMs 4"] A --> A5["Objetivos del tutorial: Intuiciones de CL,
desafíos, oportunidades 5"] Main --> B["Análisis Lingüístico"] B --> B1["Análisis lingüístico: Sintaxis, semántica,
analogías pragmáticas 6"] B --> B2["Sintaxis: Árboles de dependencia,
partes del discurso 7"] B --> B3["Semántica: Significados de palabras, composición,
ambigüedad 8"] B --> B4["Semántica léxica: Palabras similares,
métrica de distancia 9"] B --> B5["Semántica composicional: Referencia mundial,
composición de significado 10"] B --> B6["Pragmática: Transmisión basada en contexto,
supuestos de fondo 11"] Main --> C["Desafíos del Procesamiento del Lenguaje"] C --> C1["Desafíos: Vaguedad, ambigüedad,
ejemplos de incertidumbre 12"] C --> C2["Correferencia: Resolución de pronombres dependientes del contexto,
Winograd 13"] C --> C3["Recapitulación: Sintaxis, semántica,
definiciones pragmáticas 14"] Main --> D["Semántica Distribucional"] D --> D1["Semántica distribucional: El contexto revela
significado de palabras 15"] D --> D2["Receta: Matriz palabra-contexto,
reducción de dimensionalidad 16"] D --> D3["LSA: Documentos como contexto,
reducción SVD 17"] D --> D4["Inducción POS: Aprendizaje no supervisado,
contexto, SVD 18"] D --> D5["SGNS/Word2vec: Predicción palabra-contexto,
embeddings densos 19"] Main --> E["Vectores de Palabras y Modelos"] E --> E1["Vectores de palabras: Captura relaciones,
implicaciones posteriores 20"] E --> E2["Analogías de vectores: Diferencias capturan
relaciones semánticas 21"] E --> E3["Otros modelos: HMMs, LDA,
redes neuronales 22"] E --> E4["Patrones de Hearst: Patrones léxicos que revelan hiperonimia
23"] E --> E5["Resumen distribucional: Basado en contexto, matizado,
útil 24"] Main --> F["Consideraciones y Limitaciones"] F --> F1["Consideraciones de contexto: No no supervisado,
parte del modelo 25"] F --> F2["Limitaciones: Parametrizado, vista de compresión,
intención 26"] F --> F3["Ejemplos: Significados iguales/diferentes, manejo distribucional
27"] class Main main class A,A1,A2,A3,A4,A5 intro class B,B1,B2,B3,B4,B5,B6,C,C1,C2,C3 linguistics class D,D1,D2,D3,D4,D5 distributional class E,E1,E2,E3,E4,E5,F,F1,F2,F3 models

Resumen:

1.- Introducción a la comprensión del lenguaje natural (CLN): Definiendo CLN, relacionándola con la prueba de Turing y la IA/inteligencia.

2.- IBM Watson y CLN en el mundo real: Watson ganando en Jeopardy en 2011, conjunto de técnicas. CLN infiltrándose en la vida diaria.

3.- Técnicas/representaciones potenciales para CLN: Vectores de palabras/frases, árboles de dependencia, marcos, formas lógicas. Se explorarán interconexiones.

4.- PNL y aprendizaje automático - transferencia de ideas: HMMs, CRFs, LDA desarrollados para problemas de PNL. Secuencias/LSTMs impulsadas por la traducción automática.

5.- Objetivos del tutorial: Proporcionar intuiciones de CL, describir el estado del arte, comprender desafíos y oportunidades. Conceptual, no algorítmico.

6.- Sintaxis, semántica, pragmática: Niveles de análisis lingüístico. Analogías con lenguajes de programación.

7.- Sintaxis - constituyente y dependencia: Árboles de análisis de dependencia, partes del discurso, relaciones. Capturar significado requiere más que solo sintaxis.

8.- Semántica - léxica y composicional: Descubriendo significados de palabras y componiéndolos. Ambigüedad del sentido de las palabras.

9.- Semántica léxica - sinonimia: Palabras semánticamente similares. Una métrica de distancia más que clases de equivalencia. Otras relaciones como hiponimia, meronimia.

10.- Semántica composicional - teoría de modelos y composicionalidad: Las oraciones se refieren al mundo. Significado del todo compuesto de partes. Cuantificadores, modales, creencias.

11.- Pragmática - implicatura conversacional, presuposición: Lo que el hablante intenta transmitir en base al contexto. Supuestos de fondo.

12.- Desafíos del procesamiento del lenguaje - vaguedad, ambigüedad, incertidumbre: Definiciones y ejemplos de cada uno. Incertidumbre debido a la falta de conocimiento.

13.- Correferencia y anáfora: Resolviendo pronombres como "it" dependiendo del contexto. El Desafío del Esquema de Winograd.

14.- Recapitulación - sintaxis, semántica, pragmática: Definiciones, ideas clave y desafíos en cada uno.

15.- Motivación de la semántica distribucional: El contexto revela mucho sobre el significado de las palabras. Base lingüística histórica.

16.- Receta general para la semántica distribucional: Formar matriz palabra-contexto de conteos, hacer reducción de dimensionalidad. El contexto y la reducción de dimensionalidad varían.

17.- Análisis Semántico Latente (LSA): Método temprano de semántica distribucional usando documentos como contexto y SVD para reducción de dimensionalidad.

18.- Inducción de partes del discurso: Aprendizaje no supervisado de partes del discurso usando contextos de palabras circundantes y SVD.

19.- Modelo SGNS/Word2vec: Predice pares palabra-contexto usando regresión logística, optimiza PMI. Produce embeddings densos de palabras.

20.- Explorando vectores de palabras: Captura nociones de sinonimia, co-hiponimia, incluso antonimia. Implicaciones posteriores de sentimiento vs seguimiento de instrucciones.

21.- Analogías de vectores de palabras: Las diferencias de vectores capturan relaciones como género, pluralidad. Explicación a través de diferencias de contexto.

22.- Otros modelos distribucionales: HMMs, LDA, redes neuronales, redes neuronales recursivas para embeddings de frases.

23.- Patrones de Hearst: Patrones léxico-sintácticos como "X tales como Y" que revelan hiperonimia. Minado de ellos a partir de grandes corpus.

24.- Resumen de la semántica distribucional: Contexto como semántica sin pérdidas, receta general, captura información de uso matizada, útil para tareas posteriores.

25.- Consideraciones de selección de contexto: No hay aprendizaje puramente no supervisado, el contexto es parte del modelo. Global vs local, patrones, contexto no textual.

26.- Limitaciones de los modelos distribucionales actuales: Altamente parametrizados, la compresión puede no ser la vista correcta, la intención no se captura completamente.

27.- Ejemplos para reflexionar: Oraciones con significados iguales/diferentes, cómo los métodos distribucionales los manejan o fallan en ellos.

Bóveda del Conocimiento construida porDavid Vivancos 2024