Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4o | Llama 3:

Resumen:

1.- Gráficos inversos: Analizar escenas invirtiendo el proceso de renderizado gráfico, pasando de imágenes a descripciones de escenas.

2.- Desafíos: La variabilidad de forma, la variabilidad de apariencia y la inferencia en tiempo real son los principales desafíos en los gráficos inversos.

3.- Programación probabilística: Añadir variables aleatorias a los programas gráficos para crear simuladores de escenas estocásticos para la inferencia.

4.- Simulación condicionada: Ejecutar programas probabilísticos condicionados a datos de prueba para inferir propiedades de la escena.

5.- Manejo de la variabilidad de forma: Usar simuladores gráficos ricos y procesos estadísticos no paramétricos sobre mallas 3D.

6.- Variabilidad de apariencia: Construir modelos de dibujos animados y proyectarlos con datos reales usando redes profundas para comparación abstracta.

7.- Inferencia más rápida: Combinar métodos de inferencia de arriba hacia abajo con propuestas de reconocimiento rápido de abajo hacia arriba.

8.- Máquinas de Helmholtz: Usar conocimiento de arriba hacia abajo para entrenar tuberías discriminativas de abajo hacia arriba, como propuso Hinton et al.

9.- Estado de sueño: Alucinar datos del programa probabilístico y almacenarlos en una memoria externa a largo plazo.

10.- Trazas de programa: Ejecutar un programa una vez para obtener una pila con todas las variables y salidas correspondientes.

11.- Aproximadores de funciones: Entrenar redes neuronales con valores parciales de trazas de programa como objetivos.

12.- Memoria estructurada a largo plazo: Proyectar datos alucinados usando aproximadores aprendidos para crear una memoria estructurada semánticamente.

13.- Inferencia con propuestas de Helmholtz: Muestrear trazas de programa de la región de memoria estructurada correspondiente a una imagen de prueba.

14.- Emparejamiento de patrones y razonamiento: Hacer un 90% de emparejamiento de patrones desde la memoria y un 10% de razonamiento para una inferencia eficiente.

15.- Marco conceptual: Modelo de lenguaje de escena, renderizador aproximado, capa de representación y función de puntuación.

16.- Ejemplo de pose del cuerpo humano: Usar una malla 3D disponible en Blender para la estimación de pose.

17.- Combinación de modelos discretos y continuos: Integrar modelos de pose DPM con inferencia de arriba hacia abajo para mejorar los resultados.

18.- Ejemplo de programa de forma 3D: Escribir un programa flexible para definir una distribución sobre mallas 3D.

19.- Comparación con imágenes intrínsecas: Ejecutar el método de imagen intrínseca de Baron y Honek para comparación en una mesa de prueba.

20.- Trabajo futuro: Construir una biblioteca de simuladores ricos hacia adelante e integrar con marcos de aprendizaje profundo.

21.- Motores de diferenciación automática: Desarrollar motores AD rápidos con soporte mixto de CPU y GPU para programas probabilísticos.

22.- Integración profunda de programas y redes neuronales: Entrenar sistemas de extremo a extremo con codificadores CNN y decodificadores de programas probabilísticos diferenciables.

23.- Integración de Torch o Caffe: Implementar el enfoque propuesto con integración cercana a marcos de aprendizaje profundo.

24.- Aprendizaje más allá de los parámetros: Explorar el aprendizaje en el espacio de programas o subrutinas.

25.- Dirección de investigación emocionante: Desarrollar modelos que combinen redes neuronales profundas con programas probabilísticos diferenciables.

Bóveda del Conocimiento construida por David Vivancos 2024