Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4 | Gemini Adv | Llama 3:

Resumen:

1.-El futuro del aprendizaje automático y la IA es el aprendizaje auto-supervisado, que implica aprender dependencias entre variables y llenar vacíos.

2.-El aprendizaje auto-supervisado puede permitir a las máquinas aprender rápidamente con poca supervisión o interacción, similar a cómo los bebés aprenden conceptos básicos.

3.-Los principales desafíos en IA son reducir los requisitos de supervisión, aprender a razonar más allá de pasos fijos y aprender a planificar acciones complejas.

4.-El aprendizaje auto-supervisado implica predecir información faltante o futura a partir de información conocida. Las predicciones deben permitir múltiples posibilidades.

5.-Los modelos basados en energía pueden manejar la incertidumbre midiendo la compatibilidad entre variables observadas y predichas sin requerir probabilidades.

6.-Los modelos basados en energía pueden entrenarse usando métodos contrastivos que empujan la energía hacia abajo en puntos de datos y hacia arriba en otros lugares.

7.-Los métodos probabilísticos que estiman densidades son problemáticos ya que crean cañones estrechos en la función de energía que no son útiles para la inferencia.

8.-Las funciones objetivo contrastivas empujan hacia abajo la energía de los puntos de datos y hacia arriba en puntos de contraste con cierto margen.

9.-Los métodos de aprendizaje auto-supervisado como BERT han tenido mucho éxito en NLP pero no tanto para imágenes.

10.-Los métodos de embebido contrastivo para imágenes son computacionalmente costosos ya que hay muchas formas en que las imágenes pueden ser diferentes.

11.-Los GANs pueden interpretarse como métodos de energía basados en contraste que moldean la función de energía.

12.-Los métodos de variables latentes regularizadas limitan la capacidad de información para regularizar el volumen del espacio de baja energía, como en la codificación dispersa.

13.-Los autoencoders variacionales son modelos de energía latentes regularizados que añaden ruido al código latente para limitar la información.

14.-La regularización basada en grafos y la continuidad temporal pueden producir buenas representaciones al explotar la estructura de similitud o la predictibilidad temporal.

15.-Las versiones condicionales de modelos de variables latentes regularizadas permiten aprender a predecir futuros multi-modales, como en la predicción de trayectorias de vehículos.

16.-El aprendizaje auto-supervisado es el mejor enfoque actual para el aprendizaje de sentido común en IA. Escalar el aprendizaje supervisado/reforzado es insuficiente.

17.-Las tareas del Sistema 1 son rápidas, intuitivas, implícitas y donde el aprendizaje profundo actual sobresale. Las tareas del Sistema 2 son lentas, secuenciales, explícitas.

18.-Extender el aprendizaje profundo a las tareas del sistema 2 puede permitir el razonamiento, la planificación y la generalización sistemática mediante la recombinación de conceptos semánticos.

19.-La distribución conjunta de variables semánticas tiene estructura de modelo gráfico disperso. Las variables a menudo se relacionan con causalidad, agentes, intenciones, acciones, objetos.

20.-Existe una relación simple entre variables semánticas y lenguaje. Las piezas de conocimiento como reglas pueden reutilizarse en diferentes instancias.

21.-Los cambios en la distribución de variables semánticas son locales, por ejemplo, debido a intervenciones causales, con el resto del modelo sin cambios.

22.-La generalización sistemática implica recombinar dinámicamente conceptos para explicar observaciones novedosas, mejorando la falta de robustez al cambio de distribución del aprendizaje profundo actual.

23.-El objetivo es combinar las ventajas del aprendizaje profundo (representaciones fundamentadas, símbolos distribuidos, manejo de incertidumbre) con la generalización sistemática de la IA simbólica.

24.-El procesamiento consciente secuencial enfoca la atención en subconjuntos de información que se difunden y almacenan para condicionar el procesamiento subsiguiente.

25.-La comprensión del lenguaje requiere combinar el conocimiento perceptual del sistema 1 con el conocimiento semántico del sistema 2 de manera fundamentada.

26.-El "prior de conciencia" postula dependencias dispersas entre variables semánticas, permitiendo predicciones fuertes a partir de pocas variables como en el lenguaje.

27.-Bajo la hipótesis de cambio de distribución localizado, los cambios en el espacio semántico abstracto son localizados, permitiendo una adaptación más rápida y meta-aprendizaje.

28.-Los resultados empíricos muestran que la velocidad de aprendizaje puede descubrir la estructura del grafo causal. Parametrizar grafos por bordes permite el descubrimiento causal.

29.-La arquitectura de mecanismos independientes recurrentes con atención entre módulos mejora la generalización fuera de distribución al recombinar dinámicamente módulos estables.

30.-Las ideas centrales son descomponer el conocimiento en piezas recombinables con dependencias dispersas, y cambios locales en la distribución que permiten un aprendizaje/inferencia rápidos.

Bóveda de Conocimiento construida porDavid Vivancos 2024