Conocimiento Bóveda 2/89 - ICLR 2014-2023
Yuanqi Du • Adji Dieng • Yoon Kim • Rianne van den Berg • Yoshua Bengio ICLR 2022 - Taller Modelos Generativos Profundos para Datos Altamente Estructurados
<Imagen de Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4 | Gemini Adv | Llama 3:

graph LR classDef deeplearning fill:#f9d4d4, font-weight:bold, font-size:14px; classDef equivariant fill:#d4f9d4, font-weight:bold, font-size:14px; classDef graphnets fill:#d4d4f9, font-weight:bold, font-size:14px; classDef generation fill:#f9f9d4, font-weight:bold, font-size:14px; classDef proteins fill:#f9d4f9, font-weight:bold, font-size:14px; classDef bayes fill:#d4f9f9, font-weight:bold, font-size:14px; classDef diffusion fill:#f9d4d4, font-weight:bold, font-size:14px; classDef counterfactual fill:#d4f9d4, font-weight:bold, font-size:14px; classDef dynamics fill:#d4d4f9, font-weight:bold, font-size:14px; classDef inverse fill:#f9f9d4, font-weight:bold, font-size:14px; classDef flows fill:#f9d4f9, font-weight:bold, font-size:14px; A[Taller Modelos Generativos Profundos
para Datos Altamente Estructurados
ICLR 2022] --> B[Aprendizaje profundo para moléculas, PDEs
usando redes neuronales de grafos. 1] B --> C[Redes neuronales de grafos equivariante combinan
GNNs, equivarianza para 3D. 2] B --> D[GNNs para PDEs: plantillas aprendidas,
marcha de frecuencia. 3] A --> E[Desafío de generación condicional: moléculas estables,
no tóxicas, sintetizables. 4] A --> F[Cryo-DRAGON: modelo generativo profundo
para reconstrucción de proteínas 3D. 5] F --> G[Cryo-DRAGON: redes de coordenadas, VAE,
inferencia de pose para proteínas. 6] F --> H[Cryo-DRAGON descubrió estructuras,
visualizó dinámica de proteínas. 7] F --> I[Futuro: reconstrucción ab initio,
análisis de datos, evaluación comparativa, información de secuencia. 8] A --> J[DAG G-Flow Nets para aprendizaje
de estructura bayesiana. 9] J --> K[DAG G-Flow Nets aproximan
posterior de DAGs. 10] J --> L[Balance detallado para G-flow
con estados terminales. 11] J --> M[DAG G-Flow Nets superaron
en datos sintéticos y reales. 12] A --> N[Difusión torsional: modelo de difusión
para conformaciones moleculares. 13] N --> O[Difusión torsional se restringe a
torsiones, reduce dimensionalidad. 14] N --> P[Difusión torsional aprovecha el teorema de corte de Fourier,
funciones de hipertoro. 15] N --> Q[Difusión torsional superó
métodos basados en reglas y ML. 16] A --> R[MACE: explicaciones contrafactuales
agnósticas al modelo para predicciones. 17] R --> S[MACE genera espacio químico local,
etiqueta contrafactuales. 18] R --> T[Contrafactuales proporcionan ideas intuitivas
para moléculas similares a medicamentos. 19] R --> U[Paquete XMol: implementación fácil de usar
de MACE. 20] A --> V[DDPMs para generar conformaciones
moleculares, trayectorias. 21] V --> W[DDPMs aprenden difundiendo a
ruido, aprendiendo a desruido. 22] V --> X[DDPMs capturan distribución de Boltzmann,
muestran nuevas regiones de energía. 23] V --> Y[LSTMs de muestreo de trayectorias destacan en
dinámicas no markovianas. 24] Y --> Z[Restricciones físicas mejoran
LSTMs de muestreo de trayectorias. 25] A --> AA[DDRM: solucionador de problemas inversos no supervisado
usando difusión. 26] AA --> AB[DDRM opera en espacio espectral
para degradación general. 27] AA --> AC[DDRM supera en PSNR,
calidad perceptual. 28] A --> AD[Flujos semi-discretos vía Voronoi
para soportes acotados. 29] AD --> AE[Voronoi permite particionamiento flexible
para desquantización, mezclas. 30] class A,B,C,D deeplearning; class C,D,E equivariant; class B,C,D graphnets; class E,F,G,H,I generation; class F,G,H,I proteins; class J,K,L,M bayes; class N,O,P,Q,V,W,X,Y,Z diffusion; class R,S,T,U counterfactual; class V,W,X,Y,Z dynamics; class AA,AB,AC inverse; class AD,AE flows;

Resumen:

1.-Max Welling discutió el aprendizaje profundo para moléculas y PDEs usando redes neuronales de grafos con propiedades de equivarianza.

2.-Las redes neuronales de grafos equivariante combinan redes neuronales de grafos con equivarianza para modelar estructuras moleculares 3D.

3.-Las redes neuronales de grafos para PDEs permiten resolver muchos tipos de PDEs con plantillas aprendidas y marcha de frecuencia.

4.-La generación condicional sigue siendo un desafío: las moléculas generadas deben ser químicamente estables, no tóxicas y sintetizables.

5.-Ellen Zhong presentó cryo-DRAGON, un modelo generativo profundo para reconstruir estructuras de proteínas 3D a partir de imágenes cryo-EM 2D.

6.-Cryo-DRAGON usa redes neuronales basadas en coordenadas, una arquitectura VAE e inferencia de pose exacta para modelar estructuras de proteínas heterogéneas.

7.-Cryo-DRAGON se utilizó para descubrir nuevas estructuras de proteínas y visualizar la dinámica continua de proteínas a partir de datos cryo-EM.

8.-El trabajo futuro incluye reconstrucción ab initio, análisis exploratorio de datos, evaluación comparativa e incorporación de información de secuencia/estructura de proteínas.

9.-Tristan Deleu introdujo DAG G-Flow Nets para el aprendizaje de estructura bayesiana de redes bayesianas.

10.-DAG G-Flow Nets proporcionan una aproximación de la distribución posterior de DAGs usando redes de flujo generativo.

11.-Se introdujo una nueva condición de balance detallado para redes de flujo G con solo estados terminales.

12.-DAG G-Flow Nets superaron a otros métodos de aprendizaje de estructura bayesiana tanto en datos sintéticos como reales.

13.-Bowen Jing y Gabriel Corso presentaron difusión torsional, un modelo de difusión para la generación de conformaciones moleculares.

14.-La difusión torsional restringe la difusión a los ángulos de torsión, reduciendo en gran medida la dimensionalidad en comparación con la difusión de coordenadas atómicas.

15.-La difusión torsional aprovecha el teorema de corte de Fourier y funciones especiales en el hipertoro para la generación equivariante.

16.-La difusión torsional superó significativamente a los métodos existentes basados en reglas y de aprendizaje automático para la generación de conformaciones.

17.-Gimhani Eriyagama introdujo MACE, un método de explicación contrafactual agnóstico al modelo para explicar predicciones de modelos de caja negra arbitrarios.

18.-MACE genera un espacio químico local alrededor de una molécula de entrada y etiqueta contrafactuales usando el modelo de caja negra.

19.-Las explicaciones contrafactuales proporcionan ideas intuitivas y accionables sobre las predicciones del modelo para moléculas similares a medicamentos.

20.-El paquete de código abierto XMol proporciona una implementación fácil de usar del algoritmo MACE.

21.-Prateek Tiwari presentó modelos probabilísticos de difusión de desruido (DDPMs) para generar conformaciones moleculares sensatas y trayectorias.

22.-Los DDPMs aprenden distribuciones sobre moléculas difundiéndose al ruido y luego aprendiendo a desruido muestras.

23.-Los DDPMs capturan la distribución de Boltzmann y generan muestras de nuevas regiones del paisaje energético.

24.-Para modelar dinámicas no markovianas a partir de datos de series temporales, los LSTMs de muestreo de trayectorias proporcionan resultados de última generación.

25.-Agregar restricciones basadas en la física a los LSTMs de muestreo de trayectorias mejora la calidad de la generación al reducir el ruido de los datos.

26.-Bahijja Tolulope Raimi presentó DDRM, un método no supervisado para resolver problemas inversos usando modelos de difusión preentrenados.

27.-DDRM opera en el espacio espectral, permitiendo la desruido y la pintura para matrices de degradación general.

28.-DDRM supera a los solucionadores de problemas inversos no supervisados anteriores tanto en PSNR como en calidad perceptual.

29.-Ricky T.Q. Chen introdujo flujos normalizadores semi-discretos a través de teselación de Voronoi diferenciable para modelar soportes acotados.

30.-La teselación de Voronoi permite el particionamiento flexible de un espacio continuo para la desquantización y el modelado de mezclas disjuntas.

Bóveda de Conocimiento construida porDavid Vivancos 2024