El Fin Del Conocimiento - Vault 3 - G.TEC BCI & Neurotecnología Escuela de Primavera 2024 - Día 2

graph LR classDef main fill:#f9d4d4, font-weight:bold, font-size:14px classDef auditory fill:#d4f9d4, font-weight:bold, font-size:14px classDef visual fill:#d4d4f9, font-weight:bold, font-size:14px classDef speech fill:#f9f9d4, font-weight:bold, font-size:14px classDef methods fill:#f9d4f9, font-weight:bold, font-size:14px A["David Brang"] --> B["Laboratorio de David: interacciones audiovisuales,
percepción cross-modal. 1"] A --> C["Oscuridad: los sonidos ayudan a la
detección, localización, identificación de objetos. 2"] C --> D["Las pistas visuales restauran el habla
acústica degradada. 2"] A --> E["Neuronas multisensoriales: hiper-aditividad para
estímulos visuales-auditivos alineados. 3"] A --> F["Compartición de experiencia sensorial cross-modal,
transferencia predictiva. 4"] A --> G["Sonidos pre-visuales mejoran la detección,
aumentan la excitabilidad cortical. 5"] G --> H["Sonidos pre-TMS aumentan la probabilidad de
percepción de fosfenos. 6"] A --> I["Relé auditivo a regiones visuales:
mecanismos, relevancia. 7"] I --> J["La corteza visual responde rápidamente
a los sonidos. 8"] I --> K["Amplias áreas visuales responden,
máxima V1, MT+. 9"] K --> L["Actividad evocada por sonido alineada
espaciotópicamente, codifica ubicación. 10"] I --> M["Corteza visual: respuestas de inicio/fin,
probablemente entradas corticales. 11"] I --> N["Los sonidos modulan las oscilaciones visuales,
disparo. Aumentos de gamma alta. 12"] I --> O["Efectos sub-umbrales, la privación permite
cruzar umbrales, alucinaciones. 13"] A --> P["Percepción del habla: influencia visual
en el procesamiento auditivo. 14"] P --> Q["Movimientos de labios proporcionan temporización,
restricciones de fonemas, mejora auditiva. 15"] P --> R["La lectura de labios activa la corteza auditiva,
STG/STS. Evidencia de fMRI. 16"] R --> S["La lectura de labios evoca oscilaciones auditivas,
gamma alta en STG. 17"] R --> T["La corteza auditiva discrimina fonemas leídos
de labios predictivamente. 18"] R --> U["Confusibilidad similar de fonemas auditivo-visual
en STG. 19"] P --> V["Entrada de habla visual: oscilaciones predictivas
mejoran la percepción. 20"] A --> W["Integración sensorial anormal en
sinestesia, ceguera. 21"] A --> X["Registros intracraneales: epilepsia, pacientes con
tumores. Resultados generalizables. 22"] A --> Y["La atención afecta la temporización cross-modal,
puede aumentar efectos. 23"] A --> Z["Se utilizó clasificación SVM. Redes
pre-entrenadas pueden ayudar. 24"] A --> AA["Principalmente diestros estudiados. Efectos
en zurdos desconocidos. 25"] A --> AB["Diferencias entre hablantes nativos y no nativos
no comparadas. 26"] A --> AC["Comentarios finales: resumen de hallazgos,
interés en discusión. 27"] class A,B main class C,D,E,F,G,H,W auditory class I,J,K,L,M,N,O,P,Q,R,S,T,U,V visual class X,Y,Z,AA,AB,AC methods

Resumen:

1.-El laboratorio de David en la Universidad de Michigan estudia las interacciones auditivo-visuales y la percepción cross-modal usando registros intracraneales.

2.-En la oscuridad, los sonidos ayudan a detectar, localizar e identificar objetos. Las pistas visuales como los movimientos de labios ayudan a restaurar las señales de habla acústica degradadas.

3.-Las respuestas multisensoriales en las neuronas del colículo superior muestran hiper-aditividad al combinar estímulos visuales y auditivos alineados espacialmente.

4.-Cada modalidad sensorial tiene experiencia que puede compartir de manera cross-modal. Las diferencias de tiempo entre los sentidos permiten la transferencia de información predictiva.

5.-Los sonidos presentados antes de los objetivos visuales mejoran los umbrales de detección visual y aumentan la excitabilidad de la corteza visual, visto en los ERPs.

6.-Los sonidos previos a TMS sobre la corteza occipital hacen más probable la percepción de fosfenos, indicando un aumento de la excitabilidad de la corteza visual.

7.-Se estudió qué información auditiva se transmite a las regiones visuales, los mecanismos subyacentes y la relevancia conductual usando registros intracraneales humanos.

8.-La corteza visual responde a los sonidos en 30-50ms, incluso más rápido que las respuestas visuales típicas que comienzan a los 50ms.

9.-La mayoría de las áreas visuales muestran alguna actividad evocada por sonido, máxima en V1 y MT+. No solo es excitación general, ya que se descartaron micro-sácadas.

10.-Los sonidos lateralizados evocan actividad de la corteza visual alineada espaciotópicamente - los sonidos contralaterales son preferidos sobre los ipsilaterales. Codifica información espacial.

11.-La corteza visual responde a los inicios y finales de los sonidos pero no a las dinámicas auditivas en curso, a diferencia de la corteza auditiva. Las entradas probablemente sean corticales.

12.-Los sonidos principalmente modulan las oscilaciones de baja frecuencia en la corteza visual, suprimiendo el disparo. Aumentos de gamma alta (disparo) en áreas visuales superiores.

13.-Los sonidos generalmente no evocan cualia visuales, ya que los efectos son sub-umbrales. Pero la privación sensorial puede permitir cruzar el umbral y alucinaciones.

14.-Se estudió la percepción del habla - cómo la visión afecta el procesamiento del habla auditiva. Las pistas visuales (movimientos de la boca) pueden desambiguar el habla ruidosa.

15.-Modelo: Los movimientos de labios proporcionan pistas de temporización, restringen la identidad de fonemas y activan representaciones auditivas para mejorar la inteligibilidad del habla.

16.-fMRI mostró que la lectura de labios activa la corteza auditiva, alguna información de lectura de labios en STG/STS. Pero podría reflejar imaginación en lugar de procesamiento en línea.

17.-Los registros intracraneales mostraron que la lectura de labios principalmente evoca oscilaciones de baja frecuencia en la corteza auditiva. STG posterior también muestra gamma alta (disparo).

18.-La corteza auditiva discrimina fonemas leídos de labios tan temprano o antes que el habla auditiva real. Sugiere procesamiento predictivo en línea, no solo imaginación.

19.-Los patrones de confusibilidad de fonemas son similares para el habla auditiva y visual en STG, diferente de áreas visuales como el giro fusiforme.

20.-Propone que la entrada de habla visual a la corteza auditiva es principalmente llevada por oscilaciones de baja frecuencia, proporcionando pistas predictivas para mejorar la percepción del habla.

21.-Ha estudiado la integración sensorial anormal en sinestesia, ceguera. Sugiere que existen conexiones cross-modal pero están desenmascaradas/fortalecidas en el procesamiento atípico.

22.-Resultados intracraneales de pacientes con epilepsia y tumores - la localización funcional y la replicación a través de patologías apoyan la generalización a la población sana.

23.-La atención afecta la temporización cross-modal. Algunos efectos cross-modal pueden ser parcialmente impulsados por el aumento relacionado con la atención en lugar de la transferencia directa de información.

24.-Se utilizó principalmente clasificación SVM, los datos limitados impiden el aprendizaje profundo sin sobreajuste. Las redes pre-entrenadas en más datos pueden funcionar bien.

25.-La mayoría de los pacientes estudiados son diestros. Los zurdos y la dominancia lingüística atípica están subrepresentados, por lo que los efectos son desconocidos.

26.-No se ha comparado directamente a hablantes nativos vs no nativos, aunque probablemente haya diferencias en la percepción del habla audiovisual y la lectura de labios.

27.-Comentarios finales - agradeciendo a los anfitriones, resumiendo los hallazgos clave y expresando interés en una discusión futura en próximas reuniones.

Vault de Conocimiento construido porDavid Vivancos 2024