El Fin Del Conocimiento - Bóveda 6/54 - CVPR - 2020 - Evaluación de Redes Neuronales de Grafos

graph LR classDef main fill:#f9d4f9, font-weight:bold, font-size:14px classDef basics fill:#f9d4d4, font-weight:bold, font-size:14px classDef architecture fill:#d4f9d4, font-weight:bold, font-size:14px classDef expressivity fill:#d4d4f9, font-weight:bold, font-size:14px classDef benchmarking fill:#f9f9d4, font-weight:bold, font-size:14px classDef future fill:#d4f9f9, font-weight:bold, font-size:14px Main["Evaluación de Redes Neuronales
de Grafos"] --> A["Conceptos Básicos de GNN"] Main --> B["Arquitecturas de GNN"] Main --> C["Expresividad y Pruebas WL"] Main --> D["Evaluación y Rendimiento"] Main --> E["Direcciones Futuras"] A --> A1["Las GNNs analizan grafos en varias
aplicaciones 1"] A --> A2["La evaluación es crucial para el desarrollo de GNN 2"] A --> A3["MPGCNs: redes invariantes a permutación,
independientes del tamaño, que preservan la localidad 3"] A --> A4["Tratamiento de vecinos en GCNs isotrópicos vs anisotrópicos 4"] A --> A5["La normalización por lotes y las conexiones residuales mejoran
las GCNs 5"] A --> A6["Esencialidad de la escasez, normalización, conexiones residuales en GCN
26"] B --> B1["GIN iguala la expresividad de la prueba WL 7"] B --> B2["Las codificaciones estructurales no pueden diferenciar nodos
isomorfos 16"] B --> B3["Las codificaciones posicionales rompen la simetría estructural 17"] B --> B4["Buenas codificaciones: únicas, sensibles a la distancia, no canónicas 18"] B --> B5["Codificaciones laplacianas: representación estructural-posicional híbrida 19"] B --> B6["Los cambios aleatorios de signo aseguran la independencia de los
autovectores 20"] C --> C1["La prueba WL inspira GNNs expresivas 6"] C --> C2["Pruebas WL de orden superior aumentan la expresividad 8"] C --> C3["Las GNNs equivariante enfrentan limitaciones prácticas 9"] C --> C4["Trabajo reciente: GNNs expresivas 3WL, complejidad
reducida 10"] C --> C5["La predicción de enlaces expresiva necesita representación conjunta
23"] C --> C6["Mejorando la eficiencia de las técnicas WL, manteniendo
la expresividad 29"] D --> D1["Evaluaciones: conjuntos de datos representativos, realistas, medianos-grandes 11"] D --> D2["Se introducen conjuntos de datos para varias tareas de grafos
12"] D --> D3["Configuraciones experimentales consistentes aseguran comparaciones
justas 13"] D --> D4["Las GCNs de paso de mensajes superan a las GNNs WL
14"] D --> D5["Los mecanismos anisotrópicos mejoran las GCNs isotrópicas 15"] D --> D6["Las codificaciones laplacianas mejoran el rendimiento de los grafos
estructurados 21"] E --> E1["Las GCNs pueden fallar en la predicción de enlaces 22"] E --> E2["Las representaciones de bordes mejoran el rendimiento de la
predicción de enlaces 24"] E --> E3["Las GCNs de paso de mensajes superan a las GNNs WL
25"] E --> E4["Los mecanismos anisotrópicos mejoran las GCNs isotrópicas
prácticamente 27"] E --> E5["Los autovectores laplacianos superan a las codificaciones
posicionales simples 28"] E --> E6["Futuro: igualar teoría con rendimiento
a través de evaluaciones 30"] class Main main class A,A1,A2,A3,A4,A5,A6 basics class B,B1,B2,B3,B4,B5,B6 architecture class C,C1,C2,C3,C4,C5,C6 expressivity class D,D1,D2,D3,D4,D5,D6 benchmarking class E,E1,E2,E3,E4,E5,E6 future

Resumen:

1.- Las Redes Neuronales de Grafos (GNNs) se han convertido en el estándar para analizar datos de grafos, con aplicaciones en química, física, sistemas de recomendación y más.

2.- La evaluación es crucial para seguir el progreso y desarrollar GNNs poderosas para la adopción en el mundo real del aprendizaje profundo de grafos.

3.- Las Redes Neuronales Convolucionales de Grafos de Paso de Mensajes (MPGCNs) son GNNs populares, diseñadas para ser invariantes a permutación, independientes del tamaño y que preservan la localidad.

4.- Las GCNs isotrópicas tratan a todos los vecinos por igual, mientras que las GCNs anisotrópicas pueden diferenciar entre vecinos usando características de borde o mecanismos aprendidos.

5.- Las GCNs se benefician de la normalización por lotes y las conexiones residuales, mejorando la velocidad de aprendizaje y la generalización.

6.- La prueba de Weisfeiler-Lehman (WL) se utiliza para verificar la no-isomorfía de grafos, inspirando GNNs diseñadas para igualar su expresividad.

7.- La Red de Isomorfismo de Grafos (GIN) está diseñada para ser tan expresiva como la prueba WL para distinguir grafos no-isomorfos.

8.- Las pruebas WL de orden superior utilizan k-tuplas de nodos para mejorar la expresividad, pero con una mayor complejidad computacional.

9.- Las GNNs equivariante buscan igualar la expresividad de la prueba k-WL pero enfrentan limitaciones prácticas debido a los altos requisitos de memoria.

10.- El trabajo reciente se centra en diseñar GNNs expresivas 3WL sin complejidad de memoria cúbica.

11.- Los conjuntos de datos de evaluación deben ser representativos, realistas y de tamaño mediano a grande para separar estadísticamente el rendimiento de las GNNs.

12.- La conferencia introduce conjuntos de datos para tareas de regresión de grafos, clasificación, clasificación de nodos y predicción de enlaces.

13.- Las configuraciones experimentales incluyen divisiones de datos consistentes, configuraciones de optimizadores y presupuestos de parámetros para comparaciones justas.

14.- Las GCNs de paso de mensajes superaron a las GNNs WL en todos los conjuntos de datos de evaluación, posiblemente debido a una mejor escalabilidad.

15.- Los mecanismos anisotrópicos mejoran las GCNs isotrópicas, con mecanismos de atención mostrando buenas capacidades de generalización.

16.- Las codificaciones estructurales de las GCNs no pueden diferenciar nodos isomorfos, limitando la expresividad.

17.- Las codificaciones posicionales pueden romper la simetría estructural, proporcionando representaciones únicas para cada nodo.

18.- Las buenas codificaciones posicionales deben ser únicas y sensibles a la distancia, pero no pueden tener una representación canónica debido a las simetrías de los grafos.

19.- Las codificaciones posicionales laplacianas utilizan autovectores de la matriz laplaciana normalizada como una codificación estructural-posicional híbrida.

20.- Durante el entrenamiento, los cambios de signo de los autovectores laplacianos se muestrean aleatoriamente para asegurar la independencia de las elecciones arbitrarias.

21.- Las codificaciones posicionales laplacianas mejoraron significativamente el rendimiento en grafos altamente estructurados y tareas de predicción de enlaces.

22.- Las GCNs pueden fallar en tareas de predicción de enlaces debido a la incapacidad de diferenciar entre nodos isomorfos.

23.- Las GCNs expresivas para la predicción de enlaces requieren representación conjunta de nodos, codificando distancias entre nodos.

24.- Las representaciones de bordes con codificaciones posicionales mejoran el rendimiento de la predicción de enlaces.

25.- La conferencia concluye que las GCNs de paso de mensajes superan a las GNNs WL en los conjuntos de datos de evaluación.

26.- La escasez de grafos, la normalización por lotes y las conexiones residuales son bloques de construcción universales para GCNs efectivas.

27.- Los mecanismos anisotrópicos mejoran las GCNs isotrópicas en la práctica.

28.- Los autovectores laplacianos ofrecen mejoras sobre las codificaciones posicionales simples de índice.

29.- El trabajo reciente busca mejorar la eficiencia de las técnicas WL manteniendo la expresividad.

30.- La investigación futura debe centrarse en igualar los avances teóricos con el rendimiento práctico a través de evaluaciones rigurosas.

Bóveda del Conocimiento construida porDavid Vivancos 2024