Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4 | Gemini Adv | Llama 3:

Resumen:

1.-Arbitrariedad: Sin relación entre formas de palabras y significados. Cambiar una letra resulta en cambios de significado impredecibles (por ejemplo, "car" vs "bar").

2.-Composicionalidad: El significado cambia sistemáticamente cuando se combinan partes (por ejemplo, "John baila" vs "Mary baila"). Permite generalización más allá de la memorización.

3.-Modelos clásicos de lenguaje neuronal: Memorización mediante incrustaciones de palabras, generalización mediante funciones de composición aprendidas sobre incrustaciones.

4.-Los modismos desafían la composicionalidad a nivel de palabra, requiriendo memorización también a nivel de oración (por ejemplo, "kicked the bucket").

5.-La morfología muestra que las formas de las palabras no son independientes: la estructura subpalabra importa, especialmente en algunos idiomas.

6.-Los modelos a nivel de carácter pueden capturar arbitrariedad y composicionalidad. Mejora sobre la búsqueda de palabras para idiomas morfológicamente ricos.

7.-Los modelos subpalabra requieren menos parámetros para representar un idioma en comparación con los modelos a nivel de palabra. Beneficia entornos de bajos recursos.

8.-Los modelos de caracteres generan incrustaciones plausibles para palabras nonce, demostrando capacidad de generalización.

9.-Los transductores de estado finito pueden analizar palabras en morfemas, pero tienen ambigüedad al operar sobre tipos vs tokens.

10.-Los modelos de lenguaje de vocabulario abierto buscan modelar todas las cadenas posibles, no un vocabulario fijo. Útil para idiomas morfológicamente ricos.

11.-Incorporar conocimiento morfológico basado en FST en LMs neuronales mejora la perplejidad. Muestra el beneficio de la estructura lingüística explícita.

12.-Resumen hasta ahora: Los modelos de caracteres/subpalabras ayudan para la morfología y problemas de vocabulario fuera de contexto. La estructura explícita proporciona más ganancias.

13.-La estructura jerárquica del lenguaje es incontrovertible, aunque los detalles exactos son debatidos. Apoyada por fenómenos como la concesión de licencias NPI.

14.-NPIs como "anybody" deben seguir una negación como "not" en una configuración estructural precisa, no solo linealmente.

15.-La evidencia translingüística apoya generalizaciones jerárquicas basadas en agrupaciones percibidas, no en orden lineal. Un aprendiz imparcial podría adquirir cualquiera de los dos.

16.-Las Gramáticas de Redes Neuronales Recurrentes (RNNGs) buscan capturar la estructura jerárquica con mínimas extensiones a las RNNs.

17.-Las RNNGs generan tanto terminales (palabras) como símbolos no terminales que indican agrupaciones de frases. Los no terminales desencadenan operaciones de composición.

18.-La composición implica extraer el no terminal y sus constituyentes hijos, componer sus incrustaciones y empujar el resultado como un solo constituyente.

19.-La composición sintáctica en RNNGs captura la noción lingüística de jefatura usando RNNs bidireccionales sobre los hijos.

20.-Las RNNGs evitan la marginalización sobre árboles requerida por gramáticas simbólicas. El muestreo de importancia permite la inferencia.

21.-Las RNNGs generativas superan a los modelos discriminativos para el análisis de constituyentes, posiblemente debido a una mejor coincidencia con la naturaleza generativa de la sintaxis subyacente.

22.-Las RNNGs también son modelos de lenguaje fuertes, superando a las bases LSTM. Un solo modelo sirve como analizador y LM.

23.-Los modelos de caracteres/subpalabras y la estructura explícita representan dos enfoques para dotar a los modelos neuronales de conocimiento lingüístico.

24.-Los resultados sugieren que la estructura lingüística, especialmente la jerarquía, beneficia a los modelos neuronales para el procesamiento del lenguaje.

25.-Hipótesis guía: Diseñar modelos alrededor de principios lingüísticos clave conduce a mejores tecnologías del lenguaje en comparación con ignorar la estructura lingüística.

Bóveda de Conocimiento construida por David Vivancos 2024