El Fin Del Conocimiento - Bóveda 6/78 - CVPR - 2022 - Comprendiendo la Dificultad del Conjunto de Datos con Información V-Usable

graph LR classDef v_info fill:#f9d4d4, font-weight:bold, font-size:14px classDef difficulty fill:#d4f9d4, font-weight:bold, font-size:14px classDef analysis fill:#d4d4f9, font-weight:bold, font-size:14px classDef models fill:#f9f9d4, font-weight:bold, font-size:14px A["Comprendiendo la Dificultad del Conjunto de Datos
con Información V-Usable"] --> B["Información
V-usable"] A --> C["Comparaciones de
Conjuntos de Datos
y Modelos"] A --> D["Análisis de
Datos"] A --> E["Evaluaciones de
Modelos"] B --> B1["Mide la dificultad
del conjunto de datos
por modelo. 1"] B --> B2["Dificultad de
instancias
individuales. 2"] B --> B3["Aislar atributos,
medir
información. 5"] B --> B4["Analizar PVI
a través de
subconjuntos de datos. 6"] B --> B5["Identificar tokens
influyentes. 7"] B --> B6["Descubrir sesgos
en el conjunto
de datos. 8"] C --> C1["Comparar dificultad
a través de
conjuntos de datos. 3"] C --> C2["Comparar modelos
extracción de
información. 4"] C --> C3["PVI estable
a través de
arquitecturas. 9"] C --> C4["PVI estable a través
de épocas. 10"] C --> C5["Alto PVI,
más fácil para
humanos. 11"] C --> C6["Bajo PVI,
a menudo
mal etiquetado. 12"] D --> D1["La identidad del token
proporciona la mayor
información. 13"] D --> D2["Clases de palabras
indican
agramaticalidad. 14"] D --> D3["Potencial sesgo racial
en las
etiquetas. 15"] D --> D4["Medir información
de atributos
específicos. 16"] D --> D5["PVI correlaciona
con
confianza. 17"] D --> D6["Mayor PVI:
instancias fáciles
de aprender. 18"] E --> E1["Menor PVI:
instancias difíciles
de aprender. 19"] E --> E2["PVI intermedio:
instancias
ambiguas. 20"] E --> E3["PVI se estabiliza
con más
datos. 21"] E --> E4["Modelos más grandes
extraen más
información. 22"] E --> E5["Información V
sensible a
sobreajuste. 23"] E --> E6["Umbral de PVI
similar para
errores. 24"] class A,B,B1,B2,B3,B4,B5,B6 v_info class C,C1,C2,C3,C4,C5,C6 difficulty class D,D1,D2,D3,D4,D5,D6 analysis class E,E1,E2,E3,E4,E5,E6 models

Resumen:

1.- Información V-usable: Marco para medir la dificultad del conjunto de datos basado en cuánta información una familia de modelos V puede extraer sobre las etiquetas a partir de las entradas.

2.- Información V puntual (PVI): Medida de dificultad para instancias individuales dentro de un conjunto de datos, basada en el marco de información V-usable.

3.- Comparaciones de conjuntos de datos: La información V-usable permite comparar la dificultad de diferentes conjuntos de datos respecto al mismo modelo.

4.- Comparaciones de modelos: La información V-usable permite comparar cuánta información pueden extraer diferentes modelos del mismo conjunto de datos.

5.- Transformaciones de entrada: Técnica de aplicar transformaciones para aislar atributos de entrada y medir su contenido informativo sobre las etiquetas.

6.- Segmentación del conjunto de datos: Analizar el PVI promedio a través de diferentes segmentos/subconjuntos de datos para entender patrones de dificultad.

7.- Artefactos a nivel de token: Identificar tokens individuales que más contribuyen a las predicciones del modelo midiendo el cambio en la información V cuando se eliminan.

8.- Artefactos de anotación: Usar el marco de información V para descubrir correlaciones espurias y sesgos en conjuntos de datos que los modelos explotan.

9.- Consistencia entre modelos: Las estimaciones de PVI tienden a estar altamente correlacionadas a través de diferentes arquitecturas de modelos, especialmente para conjuntos de datos con mayor información V.

10.- Estabilidad a través del entrenamiento: Las estimaciones de PVI permanecen relativamente estables a través de las épocas de entrenamiento e inicializaciones aleatorias.

11.- Correlación con la dificultad humana: Los ejemplos que los humanos encuentran más fáciles (mayor acuerdo entre anotadores) tienden a tener un PVI más alto.

12.- Ejemplos mal etiquetados: Las instancias con PVI muy bajo o negativo a menudo están mal etiquetadas.

13.- Análisis del conjunto de datos SNLI: Reveló que la identidad del token por sí sola proporciona la mayor información usable, y las líneas base solo de hipótesis extraen información sustancial.

14.- Análisis del conjunto de datos CoLA: Mostró menos información usable en general comparado con SNLI, con ciertas clases de palabras indicativas de agramaticalidad.

15.- Sesgo en la detección de discurso de odio: El análisis del conjunto de datos DWMW17 reveló un potencial sesgo racial en la etiquetación del lenguaje ofensivo.

16.- Aislamiento de información: Técnica para medir el contenido informativo de atributos específicos más allá de lo capturado por otras variables.

17.- Comparación de cartografía de conjuntos de datos: El PVI muestra correlación con la medida de confianza de la cartografía de conjuntos de datos, ofreciendo un análisis complementario del conjunto de datos.

18.- Instancias fáciles de aprender: Corresponden al PVI promedio más alto, indicando la información más usable para el modelo.

19.- Instancias difíciles de aprender: Corresponden al PVI promedio más bajo, a menudo indicativo de ejemplos mal etiquetados.

20.- Instancias ambiguas: Muestran valores intermedios de PVI, conteniendo algo pero no el máximo de información usable.

21.- Suficiencia de datos de entrenamiento: La estabilización de la estimación de información V con el aumento de datos de entrenamiento indica datos suficientes para la estimación.

22.- Capacidad del modelo: Los modelos más grandes tienden a extraer más información V-usable de los conjuntos de datos.

23.- Detección de sobreajuste: La información V es más sensible al sobreajuste que la precisión en el conjunto de prueba.

24.- Umbral de dificultad del conjunto de datos: Umbral de PVI similar a través de conjuntos de datos donde los modelos comienzan a cometer errores.

25.- Ventaja de interpretabilidad: El marco de información V ofrece estimaciones de dificultad más fundamentadas e interpretables en comparación con las métricas de rendimiento estándar.

Bóveda del Conocimiento construida porDavid Vivancos 2024