Conocimiento Bóveda 3/8 - Escuela de Primavera de GTEC BCI & Neurotecnología 2024 - Día 1
Decodificación y síntesis del habla a partir de señales intracraneales
Dean Krusienski, Universidad Commonwealth de Virginia (EE.UU.)
<Imagen del Resumen >

Gráfico de Conceptos & Resumen usando Claude 3 Opus | Chat GPT4 | Llama 3:

graph LR classDef krusienski fill:#f9d4d4, font-weight:bold, font-size:14px classDef ecog fill:#d4f9d4, font-weight:bold, font-size:14px classDef seeg fill:#d4d4f9, font-weight:bold, font-size:14px classDef decoding fill:#f9f9d4, font-weight:bold, font-size:14px classDef future fill:#f9d4f9, font-weight:bold, font-size:14px A["Dean Krusienski"] --> B["Krusienski: decodificación del habla,
síntesis a partir de señales cerebrales. 1"] A --> C["ECoG: electrodos en la superficie cortical. 2"] A --> D["sEEG: electrodos que penetran más profundo. 2"] A --> E["Actividad gamma para decodificación del habla. 3"] A --> F["Objetivo: sintetizador de habla activado por el cerebro. 4"] F --> G["Desafíos del habla imaginada
sin mediciones acústicas. 4"] A --> H["Estudio de 2016: ECoG durante el habla. 5"] A --> I["Herff, Angrick decodificaron el habla de ECoG. 6"] A --> J["Rendimiento de decodificación de sEEG,
preguntas sobre posicionamiento de electrodos. 7"] J --> K["Viabilidad de decodificación del habla imaginada
con sEEG. 7"] A --> L["Sadeghian: electrodos de habla imaginada
también relevantes para el habla abierta y articulada. 8"] A --> M["Modelos entrenados en habla abierta
rinden peor en imaginada. 9"] A --> N["Modelos entrenados en habla imaginada
mantienen rendimiento en abierta y articulada. 10"] A --> O["sEEG: información de profundidad, activación
consistente del habla imaginada. 11"] A --> P["Modelo Transformer: precisión por encima del azar
en tareas de sEEG. 12"] A --> Q["Diferencias de actividad cerebral: tareas de habla
espontánea y guiada. 13"] Q --> R["Mayor actividad frontal en
habla espontánea vs guiada. 14"] A --> S["sEEG ofrece información sobre prosodia,
afecto, estructuras más profundas. 15"] A --> T["Ensayos cortos, sincronización del habla
abierta para habla imaginada. 16"] A --> U["Precisión equilibrada para
evaluación de clasificación. 17"] A --> V["Ensayos cortos limitan variaciones
de velocidad del habla imaginada. 18"] V --> W["Deformación temporal dinámica para
velocidad del habla imaginada. 18"] A --> X["Futuro: integrar sEEG con
grabaciones corticales de alta resolución. 19"] A --> Y["sEEG accede a regiones más profundas vs
micro-electrodos, micro-ECoG. 20"] A --> Z["Colaboraciones multi-institucionales cruciales
para conjuntos de datos únicos. 21"] A --> AA["Compartición de datos, ciencia abierta
importante para el progreso. 22"] A --> AB["Decodificación del habla interna desafiante,
artículos recientes discuten enfoques. 23"] A --> AC["Limitar duración de sesiones, contrabalancear
ensayos para fatiga de participantes. 24"] A --> AD["Precisión de decodificación depende de
tarea, rendimiento a nivel de azar. 25"] A --> AE["Deformación temporal dinámica, alineación
para variaciones del habla imaginada. 26"] A --> AF["Estudios de sEEG sobre el habla en
estructuras más profundas inaccesibles. 27"] A --> AG["Integrar sEEG con micro-ECoG,
microelectrodos para vista integral. 28"] A --> AH["Modelos deben considerar diferencias entre
habla abierta, articulada e imaginada. 29"] A --> AI["Investigación de habla imaginada con sEEG
avanza comunicación BCI. 30"] class A,B krusienski class C,H,I ecog class D,J,K,L,O,AF,AG seeg class E,F,G,M,N,P,Q,R,S,T,U,V,W,AB,AD,AE,AH decoding class X,Y,Z,AA,AC,AI future

Resumen:

1.-Dean Krusienski presentó trabajo sobre decodificación y síntesis del habla a partir de señales intracraneales, centrándose en electrocorticografía (ECoG) y EEG estereotáctico (sEEG).

2.-ECoG implica electrodos implantados en la superficie de la corteza, mientras que sEEG utiliza electrodos que penetran más profundamente, ofreciendo ventajas pero menos muestreo cortical.

3.-La actividad gamma de banda ancha (70-200 Hz) se utiliza a menudo para la decodificación del habla, mostrando correlaciones robustas con procesos sensoriales, motores y cognitivos.

4.-El objetivo es un sintetizador de habla activado por el cerebro mediante la decodificación del habla a partir de la actividad cerebral, pero el habla imaginada plantea desafíos sin mediciones acústicas.

5.-Un estudio de 2016 caracterizó la actividad de ECoG durante el habla continua, revelando patrones espacio-temporales en regiones frontales, motoras y auditivas.

6.-Estudios de Herff y Angrick decodificaron y sintetizaron el habla de ECoG usando diferentes enfoques como selección de unidades y redes neuronales.

7.-La transición de ECoG a sEEG plantea preguntas sobre el rendimiento de decodificación, el posicionamiento de electrodos y la viabilidad de la decodificación del habla imaginada.

8.-Un estudio de Sadeghian encontró una jerarquía anidada donde los electrodos relevantes para el habla imaginada también eran relevantes para el habla articulada y abierta.

9.-Los modelos de decodificación entrenados en habla abierta rendían peor en habla articulada y aún peor en habla imaginada.

10.-Los modelos entrenados en habla imaginada mantenían el rendimiento en habla abierta y articulada, posiblemente debido a la jerarquía anidada de características relevantes.

11.-sEEG permite estudiar información de profundidad, con el habla imaginada mostrando una activación más consistente a través de las profundidades en comparación con el habla abierta.

12.-Un modelo transformer utilizando señales de sEEG no etiquetadas logró una precisión por encima del azar en tareas de reconocimiento de comportamiento, detección del habla y clasificación de palabras.

13.-Trabajos recientes examinan diferencias de actividad cerebral entre recitación de habla guiada, descripción de escenas visuales y tareas de habla espontánea de respuesta libre.

14.-La actividad frontal permaneció más alta durante las tareas de habla espontánea en comparación con la recitación guiada, que disminuyó después del inicio del habla.

15.-A pesar de los desafíos para competir con matrices micro-ECoG, sEEG puede proporcionar información sobre prosodia, afecto y estructuras más profundas del habla/lenguaje.

16.-Los datos se recopilaron con ensayos cortos y sincronización basada en habla abierta, asumiendo duraciones similares para el habla imaginada.

17.-Se utilizó precisión equilibrada para la evaluación de clasificación, que estima el rendimiento a nivel de azar basado en proporciones de clase.

18.-Las posibles variaciones en la velocidad del habla imaginada se limitaron utilizando ensayos cortos, pero podrían abordarse mediante deformación temporal dinámica.

19.-El futuro del sEEG para la decodificación del habla implica integrar grabaciones corticales de alta resolución con información única de estructuras más profundas.

20.-Mientras que los micro-electrodos y las matrices micro-ECoG tienen ventajas para detalles de envolvente del habla, sEEG ofrece acceso a regiones más profundas del cerebro.

21.-Las colaboraciones entre múltiples instituciones han sido cruciales para avanzar en esta investigación utilizando poblaciones de pacientes únicas y oportunidades de grabación.

22.-La compartición de datos y las prácticas de ciencia abierta son importantes, con algunos conjuntos de datos ya disponibles públicamente y otros planeados para su lanzamiento.

23.-La decodificación del habla interna sigue siendo un desafío, pero artículos recientes discuten consideraciones, mejores prácticas y aplicaciones potenciales para enfoques invasivos y no invasivos.

24.-La fatiga de los participantes se mitiga limitando la duración de las sesiones, contrabalanceando los ensayos y aprovechando el compromiso del paciente durante las estancias hospitalarias.

25.-La precisión de decodificación aceptable depende de la tarea específica y el rendimiento a nivel de azar, que puede estimarse utilizando métricas de precisión equilibrada.

26.-Las variaciones en la velocidad del habla imaginada plantean desafíos, pero pueden abordarse potencialmente mediante deformación temporal dinámica u otras técnicas de alineación.

27.-El EEG estereotáctico proporciona oportunidades únicas para estudiar la actividad relacionada con el habla en estructuras más profundas inaccesibles con matrices de grabación en superficie.

28.-Integrar sEEG con otras modalidades como micro-ECoG y microelectrodos puede proporcionar una visión más integral de las redes de habla y lenguaje.

29.-Los modelos de decodificación deben tener en cuenta las diferencias entre representaciones de habla abierta, articulada e imaginada para optimizar el rendimiento y la generalización.

30.-La investigación continua sobre la decodificación del habla imaginada con sEEG puede avanzar en las interfaces cerebro-computadora para la comunicación en individuos con discapacidades del habla.

Bóveda del Conocimiento construida porDavid Vivancos 2024