Conocimiento Bóveda 6 /75 - ICML 2022
Ataques de Envenenamiento Contra Máquinas de Vectores de Soporte
Battista Biggio, Blaine Nelson, Pavel Laskov
< Imagen del Resumen >

Gráfico de Conceptos & Resumen usando Claude 3.5 Sonnet | Chat GPT4o | Llama 3:

graph LR classDef recognition fill:#f9d4d4, font-weight:bold, font-size:14px classDef attacks fill:#d4f9d4, font-weight:bold, font-size:14px classDef defenses fill:#d4d4f9, font-weight:bold, font-size:14px classDef applications fill:#f9f9d4, font-weight:bold, font-size:14px A["Ataques de Envenenamiento Contra
Máquinas de Vectores de Soporte"] --> B["Reconocimiento"] A --> C["Ataques"] A --> D["Defensas"] A --> E["Aplicaciones"] B --> B1["Reconocimiento por
artículos impactantes de ICML.
1"] B --> B2["Debate sobre la aplicabilidad
en el mundo real.
13"] B --> B3["Importancia del trabajo
en equipo en la investigación.
22"] B --> B4["Desarrollo de ataques de envenenamiento
en la historia.
21"] C --> C1["Manipulación maliciosa de datos
comprometiendo
modelos.
2"] C --> C2["SVMs atacados por
ataques de envenenamiento.
3"] C --> C3["Estudio de vulnerabilidades de
modelos de ML.
4"] C --> C4["Optimización de puntos de ataque
usando
gradientes.
5"] C --> C5["Ejemplos adversarios engañan a
clasificadores entrenados.
8"] C --> C6["Pequeñas perturbaciones causan
clasificación errónea.
9"] D --> D1["Estudio de ataques y
defensas de sistemas de ML.
10"] D --> D2["Mejorando la resiliencia a
cambios de distribución.
17"] D --> D3["Identificación de diferencias significativas
en datos de prueba.
18"] D --> D4["Manejo de datos de entrenamiento
incompletos o inexactos.
20"] D --> D5["Incorporación de ejemplos adversarios
en el entrenamiento.
25"] D --> D6["Uso de toma de decisiones estratégica
en seguridad.
26"] E --> E1["Despliegue y mantenimiento de
sistemas de ML.
28"] E --> E2["Medidas confiables de
incertidumbre del modelo.
29"] E --> E3["Aplicaciones de técnicas de seguridad
de ML.
30"] E --> E4["Hacer modelos de ML
más comprensibles.
19"] E --> E5["Explotación de no linealidades de micrófonos
en ataques.
14"] E --> E6["Entornos de ataque en laboratorio
versus mundo real.
15"] class A,B,B1,B2,B3,B4 recognition class C,C1,C2,C3,C4,C5,C6 attacks class D,D1,D2,D3,D4,D5,D6 defenses class E,E1,E2,E3,E4,E5,E6 applications

Resumen:

1.- Premio Test of Time: Reconocimiento por artículos impactantes presentados en ICML, con menciones honoríficas y un ganador principal del premio.

2.- Ataques de Envenenamiento: Manipulación maliciosa de datos de entrenamiento para comprometer el rendimiento de los modelos de aprendizaje automático.

3.- Máquinas de Vectores de Soporte (SVMs): Algoritmo popular de aprendizaje automático atacado por ataques de envenenamiento en el artículo galardonado.

4.- Aprendizaje Automático Adversario: Campo de investigación que estudia las vulnerabilidades y la seguridad de los modelos de aprendizaje automático contra ataques.

5.- Ataques Basados en Gradientes: Método para optimizar puntos de ataque utilizando gradientes de la función de pérdida del modelo.

6.- Aprendizaje Incremental: Técnica para actualizar soluciones de SVM al agregar o eliminar puntos de entrenamiento sin reentrenamiento completo.

7.- Optimización Bilevel: Formulación de ataques de envenenamiento como un problema con objetivos de optimización anidados.

8.- Ataques de Evasión: Ejemplos adversarios diseñados para engañar a clasificadores entrenados en el momento de la prueba.

9.- Ejemplos Adversarios: Pequeñas perturbaciones en los datos de entrada que causan clasificación errónea en modelos de aprendizaje automático.

10.- Seguridad en el Aprendizaje Automático: Campo en rápido crecimiento que estudia varios ataques y defensas para sistemas de ML.

11.- Envenenamiento Dirigido: Ataques que buscan causar clasificación errónea de puntos de prueba o clases específicas.

12.- Ataques de Puerta Trasera: Envenenamiento que crea vulnerabilidades ocultas activadas por patrones específicos conocidos por el atacante.

13.- Relevancia Práctica: Debate en curso sobre la aplicabilidad en el mundo real de la investigación académica sobre seguridad en ML.

14.- Ataque Delfín: Ataque en el mundo real que explota no linealidades de micrófonos para inyectar comandos de voz inaudibles.

15.- In Vitro vs. In Vivo: Distinción entre ataques demostrados en entornos de laboratorio controlados versus condiciones operativas del mundo real.

16.- Cuadrante de Pasteur: Enfoque de investigación centrado en problemas prácticos que requieren comprensión fundamental.

17.- Robustez: Objetivo de mejorar la resiliencia de los modelos de ML a cambios de distribución y reducir la necesidad de reentrenamiento frecuente.

18.- Detección Fuera de Distribución: Identificación de cuándo los datos de prueba difieren significativamente de los datos de entrenamiento para predicciones más confiables.

19.- Interpretabilidad: Hacer que los modelos de ML sean más comprensibles y mantenibles en entornos desplegados.

20.- Aprendizaje a partir de Datos Ruidosos: Mejorar la capacidad de los modelos de ML para manejar datos de entrenamiento incompletos o inexactos.

21.- Contexto Histórico: Trazar el desarrollo de ataques de envenenamiento y conceptos relacionados en la seguridad de ML.

22.- Colaboración: Importancia del trabajo en equipo en la investigación, reconocida por el receptor del premio.

23.- Modelos de Amenaza: Definición de escenarios de ataque realistas y capacidades para una investigación de seguridad significativa.

24.- Robo de Modelos: Amenaza potencial de extraer una copia de un modelo de ML desplegado a través de consultas.

25.- Entrenamiento Adversario: Técnica defensiva que incorpora ejemplos adversarios durante el entrenamiento del modelo.

26.- Teoría de Juegos: Aplicación de conceptos de toma de decisiones estratégica para modelar interacciones atacante-defensor en la seguridad de ML.

27.- Equilibrio de Nash: Estado estable en escenarios adversarios donde ni el atacante ni el defensor pueden mejorar unilateralmente.

28.- Operaciones de Aprendizaje Automático (MLOps): Prácticas para desplegar y mantener sistemas de ML en entornos de producción.

29.- Estimación de Confianza: Provisión de medidas confiables de incertidumbre del modelo para predicciones.

30.- Direcciones Futuras: Consideración de aplicaciones potenciales de técnicas de seguridad de ML más allá de la prevención directa de ataques.

Bóveda de Conocimiento construida porDavid Vivancos 2024