El Fin Del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef NLP fill:#f9d4d4, font-weight:bold, font-size:14px; classDef challenges fill:#d4f9d4, font-weight:bold, font-size:14px; classDef solutions fill:#d4d4f9, font-weight:bold, font-size:14px; classDef evaluation fill:#f9f9d4, font-weight:bold, font-size:14px; classDef future fill:#f9d4f9, font-weight:bold, font-size:14px; A[Dilek Hakkani-Tur
ICLR 2023] --> B[Modelos de lenguaje grandes
generan respuestas naturales 1] A --> C[Quedan desafíos en
máquinas conversacionales 2] C --> D[Enfoque histórico: chatbots orientados a tareas,
de dominio abierto 3] C --> E[Los modelos de lenguaje alucinan,
producen respuestas inexactas 4] C --> F[Falta de límites: búsqueda de conocimiento,
charlas, orientado a tareas 5] A --> G[Generación de datos sintéticos
con modelos de lenguaje 6] A --> H[Evitar respuestas inseguras, abusivas,
no éticas 7] H --> I[Controlar interacciones, tomar iniciativa,
seguir agenda 8] A --> J[Evaluación automatizada de
diálogos sigue siendo difícil 9] C --> K[Integrar diversas fuentes de conocimiento 10] A --> L[Herramientas como APIs ayudan a
modelos a responder con precisión 11] A --> M[Seguridad en respuestas para prevenir
contenido injusto, sesgado 12] H --> N[Diálogos basados en iniciativa y agenda
requieren más datos 13] J --> O[Protocolos estandarizados, acuerdo
entre comunidades necesario 14] A --> P[Personalización para aprender
preferencias del usuario 15] A --> Q[El habla plantea desafíos: disfluencias,
falta de puntuación 16] A --> R[Información visual clave
para muchas aplicaciones 17] A --> S[Ingesta de contexto ayuda a
interpretación, coherencia 18] C --> T[Modelos de lenguaje no
son aún modelos de diálogo 19] A --> U[El uso de prompts puede beneficiar
generación de datos, control 20] A --> V[IA simbólica con abstracción,
LLMs como meta-programación 21] J --> W[La IA puede superar a los humanos
en resumen 22] A --> X[Convertir consultas a
consultas de grafo de conocimiento 23] I --> Y[Controlar diálogos persuasivos
requiere datos 24] A --> Z[Verificar calidad de
prompts y respuestas 25] A --> AA[Aprendizaje activo con
humano en el bucle prometedor 26] C --> AB[Falta de datos de conversación
hablada de dominio abierto 27] Q --> AC[Revivir investigación de prosodia, disfluencia,
predicción de puntuación 28] Q --> AD[Integración de salidas neuronales
con conocimiento lingüístico 29] C --> AE[Revisitar desafíos clásicos de diálogo
con herramientas modernas 30] class B,E,F,K,T,AB,AE challenges; class D,G,I,L,M,N,P,R,S,U,V,X,Y,Z,AA solutions; class H,Q NLP; class J,O,W evaluation; class C,AC,AD future;

Resumen:

1.-Los modelos de lenguaje grandes recientes generan respuestas naturales y están siendo mejorados, junto con computación más barata y conjuntos de datos conversacionales públicos.

2.-Quedan desafíos para alcanzar máquinas conversacionales definitivas, a pesar del progreso. La charla discute desafíos basados en entrevistas con investigadores de diálogo.

3.-Históricamente, la investigación se centró en chatbots orientados a tareas y de dominio abierto. Los enfoques recientes combinan integración de conocimiento y métodos de extremo a extremo.

4.-Los modelos de lenguaje alucinan, produciendo respuestas inexactas. La base de conocimiento en recursos textuales durante la generación puede ayudar, pero tiene desafíos.

5.-Falta de límites claros entre búsqueda de conocimiento, charlas y turnos orientados a tareas. Se necesita más trabajo en las transiciones entre ellos.

6.-Generar datos conversacionales sintéticos con modelos de lenguaje grandes es prometedor para aumentar conjuntos de datos limitados anotados por humanos.

7.-Se deben evitar respuestas inseguras, abusivas, no éticas. Se ha avanzado con retroalimentación humana, aprendizaje por refuerzo, pero se necesita más trabajo.

8.-Los sistemas de diálogo deben controlar interacciones, tomar iniciativa y seguir una agenda. Las políticas complejas de los desarrolladores son difíciles de aplicar.

9.-La evaluación automatizada de la generación de respuestas de diálogo sigue siendo difícil. Se recomienda la evaluación humana, pero puede ser costosa y subjetiva.

10.-Integrar diversas fuentes de conocimiento, incluidas información estructurada y no estructurada, estática y dinámica, es un desafío abierto.

11.-Herramientas como APIs, calculadoras, traductores ayudan a los modelos a responder con precisión. La integración de herramientas puede hacerse en preentrenamiento, ajuste fino o uso de prompts.

12.-La seguridad en respuestas para prevenir contenido injusto, no ético, sesgado es crítica. Filtrado, retroalimentación humana, aprender a reescribir son enfoques prometedores.

13.-Diálogos basados en iniciativa y agenda, más allá de interacciones solo impulsadas por el usuario, son importantes pero requieren más datos anotados e investigación.

14.-La evaluación a través de juicios humanos o métricas automáticas sigue siendo un desafío. Se necesitan protocolos estandarizados y más acuerdo entre comunidades.

15.-La personalización para aprender las preferencias del usuario a lo largo del tiempo a través de interacciones pasadas y enseñanza del usuario es un tema amplio e importante.

16.-Las interacciones basadas en el habla permiten nuevas aplicaciones pero plantean desafíos debido a disfluencias, falta de puntuación y diferentes tipos de ruido.

17.-La información visual de video del usuario, contenido compartido, contexto situacional es clave para muchas aplicaciones. Los modelos de visión-lenguaje muestran promesa.

18.-Ingerir contexto -historia conversacional, sesiones previas, señales ambientales, eventos mundiales- puede ayudar a la interpretación y coherencia, pero es complejo.

19.-Los modelos de lenguaje aún no son equivalentes a los modelos de diálogo. El progreso reciente es emocionante, pero quedan desafíos para inspirar nuevas ideas.

20.-El uso de prompts en modelos de lenguaje es un enfoque empírico que puede beneficiar la generación de datos, control, pero es menos claro para la integración de habla/visión.

21.-Los enfoques de IA simbólica con abstracción, asociación, tratando los LLMs como plataformas de meta-programación es otra dirección de investigación que merece más investigación.

22.-La IA puede superar a los humanos en resumen, pero quedarse atrás en empatía. Las comparaciones dependen de la tarea. Se necesita una evaluación más completa que la prueba de Turing.

23.-Convertir consultas de usuario a consultas de grafo de conocimiento puede aprovechar bases de conocimiento estructuradas. La generación de datos a texto también es importante pero poco investigada.

24.-Controlar diálogos persuasivos para tomar iniciativa y seguir una agenda de manera segura requiere más datos anotados o enfoques de aprendizaje no supervisado.

25.-Verificar la calidad de los prompts y respuestas generados puede usar muestreo superior, rechazo o métricas automáticas, pero puede ser necesario el filtrado humano.

26.-El aprendizaje activo con humano en el bucle es prometedor para reducir las necesidades de datos, pero puede ser difícil de escalar en comparación con el aprendizaje por refuerzo a partir de retroalimentación.

27.-La falta de datos de conversación hablada de dominio abierto es un gran desafío. La recopilación y liberación de conjuntos de datos de habla tiene dificultades prácticas.

28.-Más allá de los datos, la reactivación de la investigación de prosodia, disfluencia, predicción de puntuación a partir de señales de habla podría ayudar a la robustez de los chatbots de dominio abierto recientes.

29.-La integración de salidas neuronales con reglas sintácticas y conocimiento lingüístico para corregir errores de reconocimiento de habla es una pregunta abierta. Los datos pueden seguir siendo clave.

30.-En la nueva era de chatbots de dominio abierto, revisar desafíos clásicos de diálogo con herramientas modernas puede revelar problemas y nuevas soluciones.

Bóveda de Conocimiento construida porDavid Vivancos 2024