>
Gráfico de Conceptos & Resumen usando Claude 3.5 Sonnet | Chat GPT4o | Llama 3:
Resumen:
1.- La detección de categoría abierta es importante para que los sistemas de aprendizaje automático reconozcan clases nuevas no vistas durante el entrenamiento.
2.- Los ejemplos adversariales son un problema para los modelos de aprendizaje profundo. Las causas subyacentes aún se están investigando.
3.- El reconocimiento de conjunto abierto requiere equilibrar el riesgo empírico y el riesgo de espacio abierto, el riesgo de etiquetar entradas desconocidas como clases conocidas.
4.- Los ejemplos adversariales están imperceptiblemente cerca de las entradas reales pero cambian drásticamente la predicción del modelo. Pueden ser inevitables en altas dimensiones.
5.- Los ejemplos adversariales pueden generarse atacando las representaciones internas del modelo, no solo la capa de salida. Esto los hace más transferibles.
6.- La causa subyacente de la vulnerabilidad adversarial aún no está clara. Hipótesis como el aliasing o la dependencia de características inestables han sido descartadas.
7.- Los ejemplos adversariales ocurren de forma natural, no solo artificialmente. Pequeños cambios en la entrada pueden corregir imágenes naturales mal clasificadas.
8.- Las activaciones ReLU que tienden hacia el infinito en el espacio abierto pueden contribuir a la vulnerabilidad adversarial. Las activaciones de tienda que suben y luego bajan pueden ayudar.
9.- La robustez frente al desplazamiento de distribución y la detección fuera de distribución son retos importantes a medida que los sistemas de aprendizaje automático se despliegan en el mundo real.
10.- Los humanos son mucho más robustos a las perturbaciones adversariales que los modelos actuales de aprendizaje profundo. Imitar el procesamiento visual humano podría mejorar la robustez del modelo.
11.- La causalidad y la construcción de modelos generativos del mundo que capturan invariantes abstractos pueden ayudar a lograr una robustez similar a la humana en los sistemas de aprendizaje automático.
12.- A medida que más personas usan el aprendizaje automático, necesitamos democratizar no solo las herramientas sino también la comprensión de la fiabilidad y la robustez.
13.- Los sistemas de aprendizaje automático a menudo se despliegan en entornos dinámicos que pueden inducir desplazamientos problemáticos de conjuntos de datos que degradan el rendimiento.
14.- Ejemplos de desplazamientos problemáticos de conjuntos de datos incluyen cambios en la población, políticas de tratamiento, dispositivos de medición y más.
15.- Los enfoques reactivos al desplazamiento de conjuntos de datos, como la adaptación continua del modelo, son problemáticos cuando los errores son costosos. Se prefieren los enfoques proactivos.
16.- Los modelos gráficos proporcionan un marco intuitivo para representar desplazamientos arbitrarios de conjuntos de datos en términos de vías inestables entre variables.
17.- El objetivo es aprender modelos que sean invariantes a desplazamientos problemáticos preespecificados. Simplemente usar características estables es demasiado conservador.
18.- Existe una jerarquía de distribuciones estables a desplazamientos, desde la poda de gráficos hasta la intervención y el contrafáctico, capturando información más estable.
19.- Se presenta un algoritmo que toma datos y un gráfico causal que especifica desplazamientos y devuelve un predictor estable invariante a esos desplazamientos.
20.- El algoritmo te dice qué distribuciones condicionales estimar a partir de los datos y combinar para obtener una distribución interviniente estable.
21.- El procedimiento es sólido (garantiza invariancia a desplazamientos especificados), completo (si falla, no existe otro predictor invariante) y óptimo.
22.- La confusión no observada puede impedir encontrar un predictor estable. Medir confusores o relajar los requisitos de invariancia son posibles soluciones.
23.- Un ejemplo de predicción de neumonía ilustra el aprendizaje de un predictor invariante al departamento del hospital condicionando en características estables de radiografías.
24.- El predictor interviniente estable óptimo mejora la poda de gráficos al capturar más información estable, pero aún puede ser subóptimo.
25.- Las distribuciones contrafácticas pueden proporcionar un mejor predictor estable al mantener más vías no problemáticas, pero son más difíciles de estimar.
26.- Estimar distribuciones contrafácticas implica fijar variables problemáticas e inferir estados contrafácticos de otras, lo cual es un problema abierto.
27.- Para construir sistemas de aprendizaje automático fiables, es fundamental comprender profundamente el dominio, los datos y los modos de fallo potenciales.
28.- Desplegar el aprendizaje automático requiere un enfoque mixto cualitativo y cuantitativo para razonar proactivamente y mitigar riesgos.
29.- Los principios clave de la ingeniería de fiabilidad para el aprendizaje automático son la prevención de fallos, el monitoreo de la fiabilidad y el mantenimiento de sistemas desplegados.
30.- Se necesita un cambio de mentalidad en la investigación y práctica del aprendizaje automático para abordar seriamente estos problemas a medida que aumenta el despliegue en el mundo real.
Bóveda del Conocimiento construida porDavid Vivancos 2024