Conocimiento Bóveda 2/95 - ICLR 2014-2023
Girmaw Abebe Tadesse ICLR 2023 - Charla Invitada - Comprendiendo Desviaciones Sistemáticas en Datos para IA Confiable
<Imagen del Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4 | Gemini Adv | Llama 3:

graph LR classDef microsoft fill:#f9d4d4, font-weight:bold, font-size:14px; classDef ai fill:#d4f9d4, font-weight:bold, font-size:14px; classDef health fill:#d4d4f9, font-weight:bold, font-size:14px; classDef data fill:#f9f9d4, font-weight:bold, font-size:14px; classDef representation fill:#f9d4f9, font-weight:bold, font-size:14px; classDef collaboration fill:#d4f9f9, font-weight:bold, font-size:14px; A[Girmaw Abebe Tadesse
ICLR 2023] --> B[Girmaw: Científico de investigación en Microsoft AI for Good
líder en África. 1] A --> C[La IA confiable necesita comprensión de datos
y detección de desviaciones. 2] A --> D[Investigación de Girmaw: salud materna, neonatal,
infantil en África. 3] D --> E[África, Sur Global subrepresentados
en investigación de IA. 4] C --> F[Los datos son cruciales en IA,
aseguran confiabilidad, interpretabilidad. 5] F --> G[Desviaciones sistemáticas de datos informan
calidad, robustez, ataques, deriva. 6] G --> H[Identificación automatizada de desviaciones, caracterización
supera limitaciones manuales. 7] G --> I[Métodos de detección de desviaciones varían
en expectativas, optimización, descripción. 8] D --> J[Encuestas de salud demográficas detectan
cambios, subpoblaciones rezagadas. 9] D --> K[Estudio Mejor Nacimiento: reducir
muertes neonatales, intervención de lista de verificación. 10] K --> L[Técnicas de desviación encontraron irregularidades,
madres de alto riesgo. 11] K --> M[La intervención ayudó a gestación normal,
paridad conocida, sin aborto. 12] D --> N[Problemas de representación en dermatología:
enfermedades de la piel, tipos, atención. 13] N --> O[Girmaw validó la robustez en dermatología,
muestras fuera de distribución. 14] N --> P[Libros de texto de dermatología subrepresentan
piel oscura, afecta atención. 15] E --> Q[Representación más allá de la atención médica
modelos generativos para descubrimiento. 16] Q --> R[Girmaw aplicó técnicas de desviación
a generación de pequeñas moléculas. 17] C --> S[Colaboración con expertos en dominios crucial
para validación, soluciones significativas. 18] S --> T[Consideración de datos de entrenamiento de expertos
en dominios, problemas cíclicos. 19] C --> U[AI Fairness 360, Robustness
cajas de herramientas para exploración de desviaciones. 20] C --> V[Expectativas de desviaciones dependen de
tarea: representación, detección, efectos. 21] S --> W[Expertos en dominios establecen expectativas
basadas en conocimiento, prácticas. 22] C --> X[Desafíos de desviaciones: análisis, interpretación,
validación, comunicación con expertos. 23] X --> Y[Pruebas de aleatorización validan
desviaciones reales, no correlaciones. 24] C --> Z[Métodos de desviación consideran datos disponibles,
no factores de confusión no observados. 25] Z --> AA[Hallazgos de desviaciones correlacionales, no
causales, pueden tener factores de confusión. 26] S --> AB[Participación temprana de expertos clave,
navega expectativas, comparte conocimiento. 27] S --> AC[Desviaciones descubren conocimientos desconocidos,
confirman hallazgos, fomentan participación. 28] A --> AD[Investigadores se enfocan en impacto
positivo en canalizaciones de IA. 29] S --> AE[Colaboración con expertos valida
canalizaciones de IA, asegura resultados significativos. 30] class B microsoft; class C,D,E,F,G,H,I,J,K,L,M,N,O,P,Q,R,U,V,W,X,Y,Z,AA,AD,AE ai; class D,J,K,L,M,N,O,P health; class F,G,H,I,T,U,V,W,X,Y,Z,AA data; class E,N,O,P,Q representation; class S,T,W,AB,AC,AE collaboration;

Resumen:

1.-Girmaw es un científico principal de investigación en Microsoft AI for Good Lab, lidera esfuerzos en el continente africano.

2.-Las soluciones de IA confiables requieren comprender los datos y detectar desviaciones sistemáticas para desbloquear su potencial completo.

3.-La investigación de Girmaw se centra en la atención médica, específicamente en la salud materna, neonatal e infantil, un problema crítico en África.

4.-La falta de representación en la investigación de IA de África y el Sur Global puede afectar negativamente a las poblaciones.

5.-Los datos son cruciales en las canalizaciones de IA; comprender los datos ayuda a interpretar los resultados del modelo y asegurar la confiabilidad.

6.-Las desviaciones sistemáticas en los datos pueden informar sobre la calidad de los datos, la robustez, los ataques adversarios y la deriva temporal.

7.-La identificación y caracterización automatizada de desviaciones sistemáticas en los datos ayuda a superar las limitaciones de la evaluación manual.

8.-Los métodos existentes para detectar desviaciones sistemáticas varían en el establecimiento de expectativas, optimización del tamaño frente a la gravedad y descripción de subgrupos.

9.-Girmaw utilizó encuestas de salud demográficas para detectar cambios longitudinales e identificar subpoblaciones rezagadas en mejoras de salud.

10.-El estudio Mejor Nacimiento tenía como objetivo reducir las muertes neonatales utilizando una intervención de Lista de Verificación de Parto Seguro.

11.-Las técnicas de desviación sistemática identificaron irregularidades en la recolección de datos y madres con el mayor riesgo de muerte neonatal.

12.-La intervención ayudó a madres con edad gestacional normal, paridad conocida y sin historial de aborto, demostrando efectos de tratamiento heterogéneos.

13.-La dermatología enfrenta problemas de representación, ya que las enfermedades de la piel se manifiestan de manera diferente según los tipos de piel, afectando la calidad de la atención.

14.-Girmaw validó la robustez en conjuntos de datos de dermatología al detectar muestras fuera de distribución de nuevas condiciones de enfermedades y configuraciones ambientales.

15.-Los libros de texto de dermatología subrepresentan imágenes de tonos de piel más oscuros, lo que podría impactar la calidad de la atención para poblaciones diversas.

16.-Los problemas de representación se extienden más allá de la atención médica; los modelos generativos deben entenderse para facilitar el descubrimiento científico de manera efectiva.

17.-Girmaw aplicó técnicas de desviación sistemática para comprender patrones en modelos de generación de pequeñas moléculas para varias aplicaciones.

18.-La colaboración con expertos en dominios es crucial para validar los hallazgos y asegurar que las soluciones desarrolladas sean significativas.

19.-También se deben considerar los datos utilizados para entrenar a los expertos en dominios, ya que los datos problemáticos pueden llevar a problemas cíclicos.

20.-Existen cajas de herramientas como AI Fairness 360 y Robustness para explorar desviaciones sistemáticas en los datos.

21.-El establecimiento de expectativas para las desviaciones sistemáticas depende de la tarea, como representación, detección fuera de distribución o efectos de tratamiento.

22.-Los expertos en dominios también pueden establecer expectativas basadas en su conocimiento y desviaciones deseadas de las prácticas diarias.

23.-Los desafíos en la identificación de desviaciones sistemáticas incluyen análisis exploratorio, interpretación, validación y comunicación con expertos en dominios.

24.-Las pruebas de aleatorización ayudan a validar los hallazgos como desviaciones reales en lugar de correlaciones espurias.

25.-Los métodos de desviación sistemática se centran en los datos disponibles y no consideran factores de confusión no observados.

26.-Los hallazgos de desviaciones sistemáticas son correlacionales, no causales, y pueden estar vinculados a factores de confusión desconocidos.

27.-Involucrar a expertos en dominios temprano en el proceso de diseño es clave, navegando expectativas y compartiendo conocimiento.

28.-Las desviaciones sistemáticas pueden descubrir conocimientos desconocidos para los expertos en dominios y confirmar hallazgos obvios, fomentando la participación.

29.-Los investigadores deben centrarse en el impacto positivo que desean lograr en sus canalizaciones de IA.

30.-La colaboración con expertos en dominios es esencial para validar diferentes canalizaciones de IA y asegurar resultados significativos.

Bóveda del Conocimiento construida porDavid Vivancos 2024