El Fin del Conocimiento - Bóveda 6/70 - CVPR - 2021 - Complejidad Óptima en Entrenamiento Descentralizado

graph LR classDef decentralized fill:#f9d4d4, font-weight:bold, font-size:14px classDef optimization fill:#d4f9d4, font-weight:bold, font-size:14px classDef algorithms fill:#d4d4f9, font-weight:bold, font-size:14px classDef experiments fill:#f9f9d4, font-weight:bold, font-size:14px A["Complejidad Óptima en
Entrenamiento Descentralizado"] --> B["ML
Descentralizado"] A --> C["Desafíos de
Optimización"] A --> D["Algoritmos
y
Métodos"] A --> E["Experimentos
y
Rendimiento"] B --> B1["Entrenamiento de modelos en
sistemas
distribuidos. 1"] B --> B2["Categorización de sistemas
ML
descentralizados. 2"] B --> B3["Entrenamiento que preserva la privacidad
en dispositivos
de borde. 7"] B --> B4["Comunicación descentralizada
entre
trabajadores. 8"] B --> B5["Varias estructuras de red
para
trabajadores. 9"] B --> B6["Promedio ponderado
en protocolos
de chismes. 15"] C --> C1["Tasas de convergencia óptimas
para
algoritmos. 3"] C --> C2["Desafíos en la optimización
de modelos
complejos. 11"] C --> C3["Muestreo aleatorio para
entrenamiento
eficiente. 12"] C --> C4["Distribuciones de datos diferentes
entre
trabajadores. 13"] C --> C5["Complejidad relacionada con
cálculos de
gradientes. 18"] C --> C6["Complejidad en el intercambio
de información. 19"] D --> D1["Mejores tasas de convergencia
posibles. 4"] D --> D2["Actualizaciones sincronizadas
entre
trabajadores. 6"] D --> D3["Actualizar coordenadas del modelo
a través de
gradientes. 14"] D --> D4["Separación de fases de cálculo
y comunicación
. 20"] D --> D5["Algoritmo óptimo usando
factorización de
gráfico. 21"] D --> D6["Usa chismes acelerados
y seguimiento de
gradientes. 22"] E --> E1["Mejora la tasa de
convergencia. 23"] E --> E2["Estima gradientes
globales. 24"] E --> E3["Iteraciones para la
convergencia del algoritmo. 26"] E --> E4["Evaluación del rendimiento
en clasificación de
imágenes. 27"] E --> E5["Pruebas de estabilidad y
convergencia. 28"] E --> E6["Eficiencia en el
entrenamiento descentralizado. 30"] class A,B,B1,B2,B3,B4,B5,B6 decentralized class C,C1,C2,C3,C4,C5,C6 optimization class D,D1,D2,D3,D4,D5,D6 algorithms class E,E1,E2,E3,E4,E5,E6 experiments

Resumen:

1.- Aprendizaje automático descentralizado: Entrenamiento de modelos en sistemas distribuidos sin control centralizado.

2.- Taxonomía en capas: Categorización de sistemas de ML descentralizados en capas de aplicación, protocolo y topología.

3.- Límites teóricos: Exploración de las tasas óptimas de convergencia para algoritmos descentralizados.

4.- Algoritmos descentralizados óptimos: Introducción de métodos que logran las mejores tasas de convergencia posibles.

5.- Paralelismo de datos: Distribución de datos entre múltiples trabajadores para procesamiento paralelo.

6.- Entrenamiento centralizado: Uso de métodos como all-reduce para actualizaciones sincronizadas entre todos los trabajadores.

7.- Aprendizaje federado: Mantener los datos en dispositivos de borde para preservar la privacidad mientras se entrenan modelos.

8.- Protocolo de chismes: Un método de comunicación descentralizado para el intercambio de información entre trabajadores.

9.- Topología de gráfico arbitraria: Conexión de trabajadores en varias estructuras de red más allá de gráficos completamente conectados.

10.- Minimización del riesgo empírico: Formulación del problema de optimización para entrenar modelos de aprendizaje automático.

11.- Optimización no convexa: Abordar los desafíos en la optimización de modelos complejos como redes neuronales profundas.

12.- Algoritmos estocásticos: Uso de métodos de muestreo aleatorio como SGD para entrenamiento eficiente.

13.- Heterogeneidad de datos: Manejo de diferencias en la distribución de datos entre trabajadores.

14.- Algoritmos que respetan ceros: Métodos que solo actualizan coordenadas del modelo a través de gradientes o comunicación.

15.- Matriz de chismes: Una matriz fija utilizada para el promedio ponderado en protocolos de chismes.

16.- Brecha espectral: La diferencia entre los valores propios más grande y segundo más grande de la matriz de chismes.

17.- Límites inferiores: Complejidad mínima teórica para algoritmos de entrenamiento descentralizado.

18.- Complejidad de muestreo: El componente de complejidad algorítmica relacionado con los cálculos de gradientes.

19.- Complejidad de comunicación: El componente de complejidad algorítmica relacionado con el intercambio de información entre trabajadores.

20.- Comunicación bifásica: Un paradigma que separa las fases de cálculo y comunicación para mejorar la consistencia.

21.- Algoritmo DeFacto: Un algoritmo descentralizado óptimo que utiliza técnicas de factorización de gráfico.

22.- Algoritmo DeTAG: Un algoritmo descentralizado óptimo que utiliza chismes acelerados y seguimiento de gradientes.

23.- Chismes acelerados: Una técnica para mejorar la tasa de convergencia de los protocolos de chismes.

24.- Seguimiento de gradientes: Un método para estimar gradientes globales en entornos descentralizados.

25.- Tiempo de mezcla: El tiempo requerido para que una cadena de Markov se acerque a su distribución estacionaria.

26.- Complejidad de iteración: El número de iteraciones requeridas para que un algoritmo converja.

27.- Experimento CIFAR-10: Evaluación del rendimiento del algoritmo en clasificación de imágenes con diferentes estrategias de mezcla de datos.

28.- ResNet en CIFAR-100: Prueba de estabilidad y convergencia del algoritmo bajo varias condiciones de brecha espectral.

29.- Longitud óptima de fase: La duración ideal de las fases de comunicación en la comunicación bifásica.

30.- Preservación del rendimiento: Mantener la eficiencia computacional mientras se mejora la consistencia en el entrenamiento descentralizado.

Bóveda del Conocimiento construida porDavid Vivancos 2024