Conocimiento Bóveda 5 /46 - CVPR 2019
Meta-Aprendizaje Con Optimización Convexa Diferenciable
Kwonjoon Lee; Subhransu Maji; Avinash Ravichandran; Stefano Soatto
< Imagen de Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4o | Llama 3:

graph LR classDef main fill:#f9d4d4, font-weight:bold, font-size:14px classDef fewshot fill:#d4f9d4, font-weight:bold, font-size:14px classDef metalearning fill:#d4d4f9, font-weight:bold, font-size:14px classDef results fill:#f9f9d4, font-weight:bold, font-size:14px A["Meta-Aprendizaje Con Optimización
Diferenciable Convexa"] --> B["Pocos ejemplos: Generalizar a partir de pocos ejemplos. 1"] A --> C["Meta-aprendizaje: Las incrustaciones generalizan a través de tareas. 3"] C --> D["Proceso: Modelo, meta-pérdida, retropropagación, meta-aprendizaje. 4"] A --> E["Predictores lineales: SVM, regresión en red. 5"] E --> F["SVM supera al vecino más cercano: Adaptativo, escalable. 6"] E --> G["Gradiente de SVM: Forma cerrada, aprovechando convexidad. 7"] E --> H["Formulación dual: Eficiencia computacional, combinación lineal. 8"] B --> I["Redes prototípicas: Promedio, clasificar por prototipo. 2"] A --> J["Resultados"] J --> K["miniImageNet, tieredImageNet: MetaOpNet mejora precisión. 9"] J --> L["CIFAR-FS, FC100: Ganancias similares, brechas más grandes. 10"] J --> M["Disparo de meta-entrenamiento: Más disparos, entrenamiento único. 11"] class A main class B,I fewshot class C,D metalearning class J,K,L,M results

Resumen:

1.- Clasificación de pocos ejemplos: Computar modelos de clasificación que generalicen a conjuntos de prueba no vistos, dados pocos ejemplos de entrenamiento por categoría.

2.- Redes prototípicas: Incrusta ejemplos de entrenamiento, computa prototipos de clase promediando, clasifica ejemplos de prueba basados en el prototipo más cercano.

3.- Objetivo de meta-aprendizaje: Aprender incrustaciones de características que generalicen bien a través de tareas cuando se usan con un clasificador de prototipo de clase más cercana.

4.- Proceso de meta-aprendizaje: Computar modelo de clasificación, calcular meta-pérdida que mide error de generalización, meta-aprender incrustación retropropagando señal de error a través de tareas.

5.- Predictores lineales (SVM, regresión logística/ridge): Propuestos para computar modelo de clasificación, incorporado optimizador convexo en red profunda para resolver.

6.- Ventajas de SVM sobre vecino más cercano: Adaptativo (adaptación en tiempo de inferencia dependiente de la tarea), escalable (menos sobreajuste con incrustaciones más grandes, supera a vecino más cercano en altas dimensiones).

7.- Computación de gradiente para SVM: Obtenida expresión de gradiente en forma cerrada para red de incrustación sin diferenciar a través de optimización, aprovechando naturaleza convexa del problema.

8.- Formulación dual: Abordados problemas computacionales con grandes dimensiones de incrustación resolviendo problema dual, expresando modelo como combinación lineal de incrustaciones de entrenamiento.

9.- Resultados en miniImageNet, tieredImageNet: MetaOpNet mejora precisión de red prototípica en ~3% con aumento de tiempo de inferencia del 30-50%. Variante de regresión ridge es comparable.

10.- Resultados en CIFAR-FS, FC100: Rendimiento similar en CIFAR-FS, mejora del 3% sobre redes prototípicas en conjunto de datos FC100 más difícil con brechas de clase de entrenamiento/prueba más grandes.

11.- Influencia del disparo de meta-entrenamiento: Rendimiento del modelo generalmente aumenta con más disparos de meta-entrenamiento, permitiendo entrenamiento único de alto disparo para todos los escenarios de meta-prueba.

Bóveda de Conocimiento construida porDavid Vivancos 2024