Conocimiento Bóveda 2/73 - ICLR 2014-2023
Michael Bronstein ICLR 2021 - Charla Invitada - Aprendizaje Profundo Geométrico: el Programa Erlangen de ML
<Imagen del Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4 | Gemini Adv | Llama 3:

Michael Bronstein
ICLR 2021
Aprendizaje profundo geométrico:
marco unificador. 1, 2, 6
Simetría en matemáticas
y física. 3, 4
Aprendizaje profundo: progreso rápido,
carece de principios. 5
Problema de estimación de funciones,
maldición de la dimensionalidad. 7, 8
Las CNNs explotan la simetría
traslacional. 9
Datos no euclidianos esperan
análisis geométrico. 10
Principios clave: invariancia,
equivarianza, localidad. 11
Capas equivariantes, agrupamiento,
coarsening. 12
Redes CNN de malla
equivariantes a gauge. 13
Redes neuronales de grafos
GNNs. 14, 15, 16, 17
Convolución en cuadrículas,
variedades. 18, 19, 20
Aplicaciones exitosas: medicamentos,
proteínas, desinformación. 21
Descubrimiento de medicamentos
con GNNs. 22
Predicción de interacción
proteica. 23
Moléculas alimentarias,
prevención del cáncer. 24
Detección de noticias falsas
en redes sociales. 25
Reconstrucción de forma humana
3D. 26
Direcciones de investigación: grafos latentes,
regresión simbólica. 27
Desafíos: experiencia, colaboración,
brecha teoría-práctica. 28
Startups comercializando
DL geométrico. 29
'Proto-libro' sobre aprendizaje
profundo geométrico. 30

Resumen:

1.-La charla fue sobre el aprendizaje profundo geométrico, un campo iniciado por el orador Michael Bronstein.

2.-El aprendizaje profundo geométrico busca proporcionar un marco matemático unificador para derivar arquitecturas de redes neuronales exitosas basadas en simetría e invariancia.

3.-Históricamente, el Programa Erlangen de Felix Klein abordó la geometría como el estudio de simetrías, formalizándola usando teoría de grupos en el siglo XIX.

4.-La simetría ha sido un principio fundamental en matemáticas y física, como se ve en el teorema de Noether y el modelo estándar.

5.-El aprendizaje profundo ha avanzado rápidamente pero carece de principios unificadores, llevando a un "zoológico" de arquitecturas y reinvención/rebranding de conceptos.

6.-El aprendizaje profundo geométrico sirve para proporcionar un marco común y procedimiento para derivar arquitecturas basadas en simetría de manera fundamentada.

7.-El aprendizaje automático es esencialmente un problema de estimación de funciones de ajustar una función a datos de entrenamiento para hacer predicciones sobre datos no vistos.

8.-La maldición de la dimensionalidad hace que el aprendizaje ingenuo sea imposible en altas dimensiones sin explotar estructura adicional, conocida como priors geométricos.

9.-Las redes neuronales convolucionales (CNNs) resuelven la maldición de la dimensionalidad en visión por computadora explotando la simetría traslacional de las imágenes.

10.-Grafos, moléculas, redes sociales y variedades son ejemplos de datos no euclidianos con estructura irregular esperando ser analizados usando aprendizaje profundo geométrico.

11.-Los principios clave del aprendizaje profundo geométrico son 1) invariancia/equivarianza a transformaciones de simetría y 2) separación de escala local de interacciones a través de escalas.

12.-Estos principios llevan a un diseño general de capas equivariantes, agrupamiento invariante y coarsening jerárquico aplicable a cuadrículas, grafos, conjuntos y variedades.

13.-La equivarianza a gauge en variedades lleva a CNNs de malla intrínsecas usadas en gráficos y visión por computadora para manejar superficies deformables.

14.-Las redes neuronales de grafos (GNNs) usan agregación de vecinos local invariante a permutación y paso de mensajes equivariantes para procesar datos estructurados en grafos.

15.-Las GNNs son teóricamente poderosas, equivalentes a la prueba de isomorfismo de grafos de Weisfeiler-Lehman cuando se usan funciones de agregación de vecindario inyectivas.

16.-Casos especiales de GNNs incluyen conjuntos profundos (para funciones invariantes a permutación en conjuntos) y transformadores (paso de mensajes basado en atención en grafos completamente conectados).

17.-Conceptos como codificación posicional/estructural y reconfiguración/muestreo de grafos han sido introducidos a las GNNs para mejorar expresividad y escalabilidad.

18.-Las cuadrículas son un caso especial de grafos con una estructura de vecindario fija y orden, donde la convolución surge naturalmente de la simetría traslacional.

19.-La convolución en variedades generales como esferas puede definirse basándose en convoluciones de grupo en el grupo de simetría, por ejemplo, rotaciones SO(3).

20.-La equivarianza a gauge respecto a los cambios de marco/coordenadas en variedades es importante para definir operadores geométricamente intrínsecos y estables.

21.-El aprendizaje profundo geométrico ha tenido mucho éxito en aplicaciones como descubrimiento de medicamentos, predicción de interacción proteica y detección de noticias falsas.

22.-Las redes neuronales de grafos han alcanzado rendimiento de última generación en cribado virtual de moléculas de medicamentos, siendo más precisas y rápidas que los métodos convencionales.

23.-La predicción de interacción proteína-proteína (PPI) usando GNNs ha llevado al diseño de nuevos enlazadores de proteínas para objetivos difíciles relacionados con el cáncer.

24.-Las moléculas alimentarias han sido analizadas con GNNs para identificar "superalimentos" ricos en compuestos anticancerígenos, usados para diseñar recetas de prevención del cáncer.

25.-La detección de desinformación en redes sociales ha sido abordada usando aprendizaje basado en grafos para identificar noticias falsas basándose en sus patrones de difusión.

26.-La reconstrucción de forma humana 3D a partir de imágenes ha progresado desde el uso de sensores 3D hasta ahora usar arquitecturas híbridas de CNN 2D + decodificadores geométricos.

27.-Direcciones de investigación emocionantes incluyen 1) aprendizaje de grafos latentes como una forma de razonamiento algorítmico y 2) regresión simbólica de ecuaciones físicas usando GNNs.

28.-Los desafíos clave en la aplicación del aprendizaje profundo geométrico incluyen la experiencia requerida en el dominio, colaboración con expertos del campo y cerrar la brecha entre teoría y práctica.

29.-El orador ha fundado varias startups comercializando tecnología de aprendizaje profundo geométrico, incluyendo la detección de noticias falsas de Twitter y los avatares 3D de Ariel AI.

30.-Se ha publicado un "proto-libro" sobre aprendizaje profundo geométrico, que busca proporcionar un marco matemático unificador derivando arquitecturas desde primeros principios.

Bóveda de Conocimiento construida porDavid Vivancos 2024