El Fin Del Conocimiento - Bóveda 6/31 - CVPR - 2018 - IA y Seguridad: Lecciones, Desafíos y Direcciones Futuras

graph LR classDef intro fill:#f9d4d4, font-weight:bold, font-size:14px classDef vulnerability fill:#d4f9d4, font-weight:bold, font-size:14px classDef aiattacks fill:#d4d4f9, font-weight:bold, font-size:14px classDef privacy fill:#f9f9d4, font-weight:bold, font-size:14px classDef solutions fill:#f9d4f9, font-weight:bold, font-size:14px Main["IA y Seguridad:
Lecciones, Desafíos y
Direcciones Futuras"] Main --> A["Dawn Song: primera
oradora invitada 1"] A --> B["Dispositivos IoT: vulnerabilidades
de código de terceros 2"] B --> C["El aprendizaje profundo detecta
vulnerabilidades en firmware IoT 3"] C --> D["Mejor precisión y
velocidad en detección 4"] Main --> E["IA para detección de
ataques y defensa 5"] E --> F["Chatbots detectan ataques de
ingeniería social 6"] E --> G["IA verifica la corrección
y seguridad del software 7"] Main --> H["Aumentan los incentivos para
comprometer sistemas de IA 8"] H --> I["Ataques a la integridad y
confidencialidad de la IA 9"] H --> J["Mejorar la seguridad de los
sistemas de IA es crucial 10"] Main --> K["Ejemplos adversariales engañan a
sistemas de visión por computadora 11"] K --> L["Clasificación errónea de señales de tráfico
bajo diversas condiciones 12"] K --> M["Ejemplos adversariales prevalentes
en varios dominios 13"] K --> N["Defensas propuestas ineficaces
contra ataques adaptativos 14"] Main --> O["Seguridad de IA: software,
aprendizaje, desafíos distribuidos 15"] O --> P["Evaluar sistemas con
entradas adversariales 16"] O --> Q["Síntesis de programación neuronal
permite generalización demostrable 17"] Q --> R["Arquitectura del programa impacta
generalización y seguridad 18"] Main --> S["Sistemas de IA pueden
filtrar información sensible 19"] S --> T["Privacidad diferencial previene
exposición de información 20"] T --> U["Protege contribuciones de datos
individuales 21"] T --> V["Fácil integración en
SQL y ML 22"] Main --> W["Enclaves seguros basados en hardware
protegen infraestructura computacional 23"] W --> X["Keystone: enclave seguro de
código abierto para RISC-V 24"] W --> Y["Plataforma Oasis: contratos y ML
que preservan la privacidad 25"] Y --> Z["Investigación médica que preserva la privacidad
en blockchain 26"] Y --> AA["Agentes de IA controlados por el usuario
sin comprometer la privacidad 27"] Main --> AB["Desafíos abiertos en
IA y seguridad 28"] AB --> AC["Mejor artículo: Eludir
defensas de ejemplos adversariales 29"] AC --> AD["Consejos para evaluar
la robustez de las defensas 30"] class A,B intro class C,D,E,F,G vulnerability class H,I,J,K,L,M,N aiattacks class O,P,Q,R,S,T,U,V privacy class W,X,Y,Z,AA,AB,AC,AD solutions

Resumen:

1.- Dawn Song es la primera oradora invitada en un evento y es bienvenida al podio.

2.- Para 2020, se espera que se desplieguen más de 50 mil millones de dispositivos de Internet de las Cosas, pero tienen vulnerabilidades de código de terceros.

3.- El trabajo reciente de la oradora utilizó aprendizaje profundo y embebido de gráficos basado en redes neuronales para identificar similitudes de código y detectar vulnerabilidades en firmware de IoT.

4.- Este enfoque de detección de vulnerabilidades mejora significativamente la precisión y el tiempo de entrenamiento/transmisión en comparación con métodos anteriores.

5.- El aprendizaje profundo también puede ayudar a desarrollar agentes para la detección y defensa de ataques, y proteger a los humanos de ataques de ingeniería social.

6.- Un proyecto de DARPA está desarrollando chatbots para detectar ataques de ingeniería social en conversaciones en tiempo real y desafiar a posibles atacantes.

7.- El aprendizaje profundo y el aprendizaje por refuerzo podrían ayudar a verificar automáticamente la corrección y seguridad del software entrenando agentes para demostrar teoremas.

8.- A medida que la IA controla más sistemas, los atacantes tienen incentivos crecientes para comprometer la IA y las consecuencias del mal uso se vuelven más severas.

9.- Los atacantes pueden atacar la integridad del sistema de IA para producir resultados incorrectos o dirigidos, o atacar la confidencialidad para aprender información personal sensible.

10.- Para defenderse, la seguridad de los sistemas de aprendizaje en sí debe mejorar. Los atacantes también pueden usar mal la IA para encontrar vulnerabilidades y crear nuevos ataques.

11.- En los coches autónomos, la visión por computadora generalmente reconoce bien las señales de tráfico, pero los ejemplos adversariales con modificaciones sutiles pueden causar clasificaciones erróneas.

12.- Los experimentos muestran que las imágenes de señales de tráfico adversariales siguen siendo efectivas para engañar a la visión por computadora bajo diversas distancias y condiciones.

13.- Los ejemplos adversariales son prevalentes en diferentes dominios y tipos de modelos. Los ejemplos generados por GAN y transformados espacialmente son particularmente realistas.

14.- Más de 100 artículos recientes propusieron defensas, pero atacantes adaptativos fuertes pueden evadirlas, por lo que la seguridad sigue siendo un gran desafío para el despliegue de IA.

15.- Mejorar la seguridad de la IA requiere abordar problemas a nivel de software, aprendizaje y sistemas distribuidos. El aprendizaje y la distribución presentan desafíos únicos.

16.- A nivel de aprendizaje, los sistemas deben evaluarse con entradas adversariales, no solo con datos normales. Se necesita razonamiento composicional para programas no simbólicos.

17.- El trabajo del autor sobre síntesis de programación neuronal utiliza recursión para permitir la generalización demostrable y aprende más rápido que enfoques anteriores.

18.- La arquitectura del programa impacta la generalización. Se necesita más trabajo en arquitecturas con fuerte generalización y seguridad para tareas más amplias.

19.- Los atacantes también pueden intentar aprender información personal sensible de los sistemas de IA. Un modelo de lenguaje memorizó secretos en el conjunto de datos de correos electrónicos de Enron.

20.- La privacidad diferencial durante el entrenamiento puede evitar que un modelo de lenguaje memorice y exponga información sensible más tarde.

21.- La privacidad diferencial hace que las bases de datos vecinas sean indistinguibles y protege las contribuciones de datos individuales. Es útil pero necesita un despliegue más general.

22.- El autor desarrolló métodos para la fácil integración de la privacidad diferencial en consultas tipo SQL y aprendizaje automático, con mínima pérdida de precisión.

23.- Los enclaves seguros basados en hardware pueden proteger contra una infraestructura computacional no confiable proporcionando aislamiento fuerte, atestación y cifrado.

24.- El proyecto Keystone tiene como objetivo crear un diseño de enclave seguro de código abierto para la arquitectura RISC-V para permitir la verificación transparente.

25.- La plataforma Oasis aprovecha el cálculo seguro y la privacidad diferencial para contratos inteligentes que preservan la privacidad y aprendizaje automático en blockchain.

26.- Una aplicación permite a los pacientes contribuir datos para contratos inteligentes de investigación médica que preservan la privacidad, recompensándolos mientras protegen la privacidad.

27.- Los contratos inteligentes que preservan la privacidad en plataformas blockchain como Oasis pueden permitir agentes de IA controlados por el usuario que proporcionan beneficios sin comprometer la privacidad.

28.- La IA y la seguridad se cruzan en muchos desafíos abiertos en torno a la robustez, detección de compromisos, preservación de la privacidad y democratización. Se requiere un esfuerzo comunitario.

29.- El primer premio al mejor artículo fue para "Gradientes Ofuscados Dan una Falsa Sensación de Seguridad: Eludir Defensas a Ejemplos Adversariales".

30.- Los autores discuten cómo derrotaron varias defensas propuestas a ejemplos adversariales y dan consejos para evaluar la verdadera robustez de las defensas.

Bóveda del Conocimiento construida porDavid Vivancos 2024