El Fin Del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef limitations fill:#f9d4d4, font-weight:bold, font-size:14px; classDef goal fill:#f9d4d4, font-weight:bold, font-size:14px; classDef similarity fill:#f9d4d4, font-weight:bold, font-size:14px; classDef locally fill:#f9d4d4, font-weight:bold, font-size:14px; classDef challenge fill:#f9d4d4, font-weight:bold, font-size:14px; classDef preliminary fill:#f9d4d4, font-weight:bold, font-size:14px; A[Joan Bruna et al] --> B[Redes convolucionales exitosas para
datos estructurados en cuadrícula. 1] A --> C[Existen limitaciones para datos no estructurados en cuadrícula. 2] A --> D[Objetivo: parámetros independientes del
tamaño de entrada. 3] A --> E[Convolución en grafos a través de
autovectores del Laplaciano. 6] A --> F[Resultados preliminares validan
el enfoque. 12] A --> G[Desafío: relacionar frecuencias,
definir suavidad. 11] B --> H[Similitud a partir de sensado
o estadísticas de datos. 4] B --> I[Redes localmente conectadas
aprenden vecindarios. 5] E --> J[Operador lineal que conmuta
con el Laplaciano. 7] E --> K[El aprendizaje espectral necesita
parámetros del tamaño de entrada. 8] E --> L[Localización, transformaciones
sugieren filtros suaves. 9] E --> M[Los filtros suaves logran
parámetros constantes. 10] F --> N[La CNN espectral reduce
parámetros, mantiene el rendimiento. 13] N --> O[Mapas aprendidos complementarios,
específicos de la región de entrada. 14] G --> P[El ordenamiento de frecuencias 1D
funciona, similitud abierta. 11] G --> Q[Transformada de Fourier costosa
vs MFT. 16] G --> R[Manejo de grafos irregulares
necesario más allá de ejemplos. 17] D --> S[Primer paso: explotar
la geometría para parámetros. 15] D --> T[Cuestión abierta: arreglo
óptimo de frecuencias. 18] D --> U[Simetrías, estructura deben
informar parámetros. 19] D --> V[Se necesita más trabajo
en parámetros óptimos. 20] class C limitations; class D goal; class H similarity; class I locally; class G,P,Q,R challenge; class F,N,O preliminary;

Resumen:

1.-Las redes convolucionales son exitosas para imágenes y sonidos debido a la estructura de cuadrícula, las estadísticas locales y la eficiencia de parámetros.

2.-Existen limitaciones para datos no estructurados en cuadrícula como mallas 3D, espectrogramas, redes sociales y entre canales en arquitecturas estándar.

3.-El objetivo es aprender capas donde el número de parámetros sea independiente del tamaño de entrada tratando las señales como funciones en grafos.

4.-La similitud entre características puede provenir del proceso de sensado (por ejemplo, distancias en mallas 3D) o estimarse a partir de estadísticas de datos.

5.-Las redes localmente conectadas aprenden vecindarios para capturar correlación local, luego reducen la resolución del grafo y repiten, pero aún escalan con el tamaño.

6.-La convolución en grafos puede definirse a través de autovectores del Laplaciano que generalizan la base de Fourier.

7.-La convolución se define como cualquier operador lineal que conmuta con el Laplaciano, es decir, diagonal en la base de autovectores del Laplaciano.

8.-El aprendizaje de coeficientes de filtro directamente en este dominio espectral aún requiere un número de parámetros proporcional al tamaño de entrada.

9.-La analogía entre la localización espacial de señales y la suavidad de sus transformadas de Fourier sugiere aprender filtros espectrales suaves.

10.-Los filtros espectrales suaves con soporte espacial finito requieren parámetros proporcionales solo al tamaño del filtro, logrando un número de parámetros constante.

11.-El desafío es relacionar frecuencias para definir suavidad espectral; incluso el ordenamiento de frecuencias 1D funciona pero la similitud óptima es un problema abierto.

12.-Resultados preliminares en MNIST subsampleado y MNIST proyectado en esfera 3D validan el enfoque.

13.-La CNN espectral reduce parámetros en 1-2 órdenes de magnitud frente a redes completamente conectadas sin sacrificar rendimiento.

14.-Los mapas de características espectrales aprendidos son complementarios y concentran energía en diferentes regiones de entrada.

15.-Primer paso en explotar la geometría de entrada para aprender con un número de parámetros independiente del tamaño de entrada.

16.-Calcular la transformada de Fourier sigue siendo costoso en comparación con otros métodos como MFT.

17.-Necesidad de manejar grafos altamente irregulares más allá de los ejemplos simples mostrados.

18.-Cuestión abierta sobre cómo organizar óptimamente las frecuencias en el dominio dual para una localización espacial efectiva.

19.-Las simetrías y la estructura en los datos originales deben informar la asignación de parámetros en redes neuronales.

20.- Se necesita mucho más trabajo en la asignación óptima de parámetros de red explotando la estructura de entrada y las simetrías.

Bóveda del Conocimiento construida porDavid Vivancos 2024