El Fin Del Conocimiento - Bóveda 2 - ICLR (2014-2023)

graph LR classDef random fill:#f9d4d4, font-weight:bold, font-size:14px; classDef regularization fill:#d4f9d4, font-weight:bold, font-size:14px; classDef generalization fill:#d4d4f9, font-weight:bold, font-size:14px; classDef optimization fill:#f9f9d4, font-weight:bold, font-size:14px; classDef complexity fill:#f9d4f9, font-weight:bold, font-size:14px; A[Chiyuan Zhang et al
ICLR 2017] --> B[Las DNNs ajustan etiquetas aleatorias
con error cero. 1] B --> C[Ajuste de etiquetas ruidosas: optimización fácil,
pequeño aumento de tiempo. 2] A --> D[Las medidas de complejidad tradicionales fallan
en explicar la generalización de DNN. 3] B --> E[Las DNNs ajustan perfectamente
imágenes de ruido aleatorio. 4] B --> F[Aleatoriedad de etiquetas: error de generalización constante,
optimización fácil. 5] A --> G[Los regularizadores ayudan pero no son
necesarios para el control de generalización. 6] B --> H[Varias arquitecturas ajustan CIFAR10 aleatorizado
con 100% de precisión. 7] B --> I[InceptionV3 >95% de precisión en
ImageNet aleatorizado sin ajuste. 8] B --> J[Aleatorización de etiquetas: convergencia más lenta,
ajuste perfecto. 9] D --> K[La teoría tradicional no puede distinguir
buena vs. mala generalización. 10] D --> L[Complejidad de Rademacher 1,
límite trivial de generalización. 11] D --> M[VC y dimensión de fat-shattering
fallan para DNNs. 12] D --> N[La estabilidad uniforme ignora los datos,
no puede explicar la generalización de DNN. 13] G --> O[Sin regularización: las DNNs
todavía generalizan bien. 14] G --> P[La ampliación de datos >otros
regularizadores, pero no es necesaria. 15] G --> Q[La detención temprana, BatchNorm
ayudan modestamente. 16] D --> R[Los resultados de expresividad se centran
en todo el dominio. 17] D --> S[ReLU de 2 capas ajusta
cualquier etiqueta de muestra. 18] D --> T[Modelos lineales ajustan
cualquier etiqueta si están sobreparametrizados. 19] T --> U[Solución de SGD en
el espacio de datos de entrenamiento. 20] T --> V['Truco del kernel' ajusta
cualquier etiqueta a través de la matriz de Gram. 21] T --> W[Modelos lineales de norma mínima
generalizan sin regularización. 22] W --> X[La regularización del modelo de kernel
no mejora el rendimiento. 23] T --> Y[La intuición de norma mínima es incompleta
para modelos complejos. 24] A --> Z[La capacidad efectiva de las DNNs
rompe los datos de entrenamiento. 25] Z --> AA[Las medidas de complejidad tradicionales
son inadecuadas para grandes DNNs. 26] C --> AB[La optimización fácil continúa
incluso sin generalización. 27] D --> AC[No hay medida de complejidad de 'simplicidad'
aún para grandes DNNs. 28] F --> AD[Aleatoriedad de etiquetas: declive constante
de generalización, optimización fácil. 29] Z --> AE[Preguntas abiertas sobre
la capacidad efectiva de las DNNs. 30] class B,E,F,H,I,J random; class G,O,P,Q,X regularization; class D,K,L,M,N,R,S,T,Y,AA,AC,AD,AE complexity; class C,AB,U,V,W optimization;

Resumen:

1.-Las redes neuronales profundas pueden ajustar completamente un etiquetado aleatorio de los datos de entrenamiento, logrando cero error de entrenamiento.

2.-A pesar de ajustar etiquetas ruidosas, la optimización de redes neuronales sigue siendo fácil: el tiempo de entrenamiento solo aumenta por un pequeño factor constante.

3.-Los experimentos muestran que las medidas de complejidad tradicionales como la dimensión VC, la complejidad de Rademacher y la estabilidad uniforme fallan en explicar la generalización de las redes neuronales.

4.-Sustituir imágenes reales por ruido aleatorio aún permite a las redes neuronales ajustar perfectamente los datos de entrenamiento.

5.-A medida que aumenta el nivel de aleatoriedad en las etiquetas, el error de generalización crece de manera constante, pero la optimización sigue siendo fácil.

6.-Regularizadores explícitos como la decaimiento de peso, dropout y la ampliación de datos ayudan pero no son necesarios ni suficientes para controlar el error de generalización.

7.-Inception, AlexNet y MLPs pueden ajustar un etiquetado aleatorio de los datos de entrenamiento de CIFAR10 con un 100% de precisión.

8.-En ImageNet con etiquetas aleatorias, InceptionV3 aún logra más del 95% de precisión de entrenamiento top-1 sin ajuste de hiperparámetros.

9.-Con algo de aleatorización de etiquetas, las redes tardan más en converger pero aún ajustan perfectamente el conjunto de entrenamiento corrupto.

10.-La teoría tradicional del aprendizaje estadístico no puede distinguir entre redes neuronales que generalizan bien y las que no.

11.-La complejidad de Rademacher de las redes neuronales está cerca de 1, proporcionando un límite trivial insuficiente para explicar la generalización.

12.-Los límites de la dimensión VC y la dimensión de fat-shattering para las redes neuronales son muy grandes y también fallan en explicar la generalización en la práctica.

13.-La estabilidad uniforme del algoritmo de entrenamiento no toma en cuenta los datos o la distribución de etiquetas y no puede explicar la generalización de las redes neuronales.

14.-Con la regularización desactivada, las redes neuronales aún generalizan bien, sugiriendo que los regularizadores no son fundamentales para controlar el error de generalización.

15.-La ampliación de datos mejora la generalización más que otras técnicas de regularización, pero los modelos funcionan bien incluso sin ninguna regularización.

16.-La detención temprana puede mejorar la generalización pero no siempre es útil. La normalización por lotes estabiliza el entrenamiento y mejora modestamente la generalización.

17.-Los resultados de expresividad para redes neuronales se centran en funciones sobre todo el dominio en lugar de muestras finitas utilizadas en la práctica.

18.-Una red simple de 2 capas ReLU con 2n+d pesos puede ajustar cualquier etiquetado de cualquier muestra de tamaño n en d dimensiones.

19.-Los modelos lineales pueden ajustar cualquier etiqueta exactamente si el número de parámetros excede el número de puntos de datos, incluso sin regularización.

20.-El descenso de gradiente estocástico converge a una solución que se encuentra en el espacio de los puntos de datos de entrenamiento.

21.-El "truco del kernel" permite a los modelos lineales ajustar cualquier etiqueta utilizando una matriz de Gram de productos punto entre puntos de datos.

22.-Ajustar etiquetas de entrenamiento exactamente con modelos lineales de norma mínima produce un buen rendimiento en pruebas en MNIST y CIFAR10 sin regularización.

23.-Agregar regularización a los modelos de kernel no mejora el rendimiento, mostrando que una buena generalización es posible sin regularización explícita.

24.-La intuición de norma mínima de los modelos lineales proporciona cierta comprensión pero no predice completamente la generalización en modelos más complejos.

25.-La capacidad efectiva de las redes neuronales exitosas es lo suficientemente grande como para romper los datos de entrenamiento y ajustar etiquetas aleatorias.

26.-Las medidas tradicionales de complejidad del modelo son inadecuadas para explicar la capacidad de generalización de las grandes redes neuronales.

27.-La optimización continúa siendo fácil empíricamente incluso si el modelo no está generalizando, mostrando que la facilidad de optimización no es la causa de la generalización.

28.-Los autores argumentan que aún no hemos descubierto una medida formal de complejidad bajo la cual las grandes redes neuronales sean efectivamente "simples".

29.-Aumentar la aleatoriedad en las etiquetas causa un aumento constante en el error de generalización mientras que la optimización sigue siendo fácil.

30.-Los experimentos muestran que aún hay preguntas abiertas sobre qué constituye precisamente la capacidad efectiva de las redes neuronales.

Bóveda de Conocimiento construida porDavid Vivancos 2024