El Fin Del Conocimiento - Bóveda 5/100 - CVPR - 2024 - Dinámica de Imágenes Generativas

graph LR classDef sutton fill:#f9d4d4, font-weight:bold, font-size:14px classDef representation fill:#d4f9d4, font-weight:bold, font-size:14px classDef jeff fill:#d4d4f9, font-weight:bold, font-size:14px classDef learning fill:#f9f9d4, font-weight:bold, font-size:14px classDef future fill:#f9d4f9, font-weight:bold, font-size:14px A["Dinámica de Imágenes Generativas"] --> B["Dinámica de Imágenes Generativas:
modelar priors de movimiento de escena 1"] A --> C["Volumen Espectral: dominio de frecuencia
trayectorias densas de píxeles 2"] A --> D["Renderizado Basado en Imágenes:
animar cuadros desde imagen 3"] A --> E["Modelo de Difusión Latente:
predice volúmenes espectrales 4"] E --> F["Desenfoque Coordinado por Frecuencia:
predicciones coherentes de frecuencia 5"] E --> G["Normalización Adaptativa de Frecuencia:
coeficientes espectrales estables 6"] C --> H["Textura de Movimiento: largo alcance
trayectorias por píxel 7"] B --> I["Bucle Sin Fin: videos interminables
vía autoguía 8"] B --> J["Dinámica Interactiva: respuestas simuladas
a fuerzas 9"] C --> K["Análisis Modal: volúmenes espectrales
como bases modales 10"] D --> L["Campos de Movimiento Eulerianos:
mapas de desplazamiento densos 11"] D --> M["Splatting Softmax: deformación hacia adelante
para oclusiones, múltiples píxeles 12"] A --> N["FID: evaluar calidad
de imagen generada 13"] A --> O["FVD: evaluar calidad
de video generado, coherencia 14"] A --> P["DTFVD: evaluar movimientos
oscilatorios en videos 15"] A --> Q["Métricas de Ventana Deslizante:
medir calidad a lo largo del tiempo 16"] E --> R["VAE: comprime entrada,
reconstruye salida 17"] E --> S["U-Net: desenfoque iterativo
arquitectura de difusión 18"] B --> T["Guía Sin Clasificador:
guía muestreo de difusión 19"] I --> U["Autoguía de Movimiento: refuerza
bucle en muestreo 20"] K --> V["Base Modal en Espacio de Imagen:
simula dinámica interactiva 21"] C --> W["Representación en Dominio de Fourier:
modela movimiento oscilatorio 22"] D --> X["Extracción de Características Multiescala:
captura detalles de renderizado 23"] D --> Y["Pérdida Perceptual: entrena
renderizado visualmente agradable 24"] D --> Z["Magnitud de Movimiento como Profundidad:
pesos de píxeles fuente 25"] F --> AA["Capas de Atención de Frecuencia:
coordina predicciones de frecuencia 26"] T --> AB["Guía Universal: incorpora
restricciones de muestreo 27"] J --> AC["Método de Euler Explícito:
simula coordenadas modales 28"] D --> AD["Pirámide de Características: multiescala
características de imagen 29"] B --> AE["Amplificación/Minificación de Movimiento:
ajusta amplitudes espectrales 30"] class A,B,I,J future class C,F,G,H,K,W representation class D,L,M,X,Y,Z,AD learning class E,N,O,P,Q,R,S,T,U,V,AA,AB,AC jeff

Resumen:

1.- Dinámica de Imágenes Generativas: Un método para modelar priors en el espacio de imagen sobre el movimiento de la escena, aprendido de secuencias de video reales de dinámicas oscilatorias naturales.

2.- Volumen Espectral: Una representación en el dominio de frecuencia de trayectorias densas y de largo alcance de píxeles, adecuada para la predicción con modelos de difusión.

3.- Renderizado Basado en Imágenes: Una técnica para animar cuadros de video futuros usando el movimiento predicho y la imagen de entrada.

4.- Modelo de Difusión Latente (LDM): La columna vertebral para predecir volúmenes espectrales a partir de imágenes individuales.

5.- Desenfoque Coordinado por Frecuencia: Una estrategia para predecir volúmenes espectrales a través de múltiples bandas de frecuencia manteniendo la coherencia.

6.- Normalización Adaptativa de Frecuencia: Una técnica para normalizar los coeficientes de volumen espectral a través de frecuencias para un entrenamiento estable y predicciones precisas.

7.- Textura de Movimiento: Un conjunto de trayectorias de movimiento por píxel de largo alcance derivadas de volúmenes espectrales.

8.- Bucle Sin Fin: Una técnica para crear videos que se repiten infinitamente usando autoguía de movimiento durante el proceso de muestreo de difusión.

9.- Dinámica Interactiva: La capacidad de simular respuestas de objetos a fuerzas definidas por el usuario usando volúmenes espectrales predichos.

10.- Análisis Modal: Un método para interpretar volúmenes espectrales como bases modales en el espacio de imagen para simular dinámicas.

11.- Campos de Movimiento Eulerianos: Una representación del movimiento de la escena como mapas de desplazamiento densos para cada píxel a lo largo del tiempo.

12.- Splatting Softmax: Una técnica para deformar hacia adelante características durante el renderizado basado en imágenes para manejar oclusiones y múltiples píxeles fuente.

13.- Distancia de Inception Fréchet (FID): Una métrica para evaluar la calidad de imágenes generadas en comparación con imágenes reales.

14.- Distancia de Video Fréchet (FVD): Una métrica para evaluar la calidad y la coherencia temporal de videos generados.

15.- Distancia de Video Fréchet de Textura Dinámica (DTFVD): Una métrica diseñada específicamente para evaluar movimientos oscilatorios naturales en videos.

16.- Métricas de Ventana Deslizante: Técnicas para medir cómo cambia la calidad del video generado a lo largo del tiempo.

17.- Autoencoder Variacional (VAE): Un componente del LDM que comprime la entrada a un espacio latente y reconstruye la salida.

18.- U-Net: Una arquitectura de red neuronal utilizada en el modelo de difusión para el desenfoque iterativo.

19.- Guía Sin Clasificador: Una técnica para guiar el proceso de muestreo de difusión sin usar un modelo de clasificador separado.

20.- Autoguía de Movimiento: Un método para imponer restricciones de bucle durante el proceso de muestreo de difusión para la generación de video sin fin.

21.- Base Modal en Espacio de Imagen: Una interpretación de volúmenes espectrales para simular dinámicas interactivas a partir de imágenes individuales.

22.- Representación en Dominio de Fourier: Modelar el movimiento en el dominio de frecuencia para capturar comportamientos oscilatorios de manera eficiente.

23.- Extracción de Características Multiescala: Una técnica utilizada en el módulo de renderizado basado en imágenes para capturar detalles en diferentes escalas.

24.- Pérdida Perceptual: Una función de pérdida utilizada en el entrenamiento del módulo de renderizado basado en imágenes para producir resultados visualmente agradables.

25.- Magnitud de Movimiento como Proxy de Profundidad: Usar la magnitud del flujo predicho para determinar el peso contribuyente de los píxeles fuente en el renderizado.

26.- Capas de Atención de Frecuencia: Capas de red neuronal utilizadas para coordinar predicciones a través de diferentes bandas de frecuencia en el volumen espectral.

27.- Guía Universal: Una técnica para incorporar restricciones adicionales durante el proceso de muestreo de difusión.

28.- Método de Euler Explícito: Un método numérico utilizado para simular el estado de coordenadas modales en dinámicas interactivas.

29.- Pirámide de Características: Una representación multiescala de características de imagen utilizada en el módulo de renderizado basado en imágenes.

30.- Amplificación/Minificación de Movimiento: Técnicas para ajustar la amplitud de los coeficientes de volumen espectral predichos para animaciones exageradas o sutiles.

Bóveda de Conocimiento construida porDavid Vivancos 2024