El Fin Del Conocimiento - Bóveda 3 - GTEC BCI & Neurotecnología Escuela de Primavera 2024 - Día 1

graph LR classDef gtech fill:#f9d4d4, font-weight:bold, font-size:14px classDef unity fill:#d4f9d4, font-weight:bold, font-size:14px classDef bci fill:#d4d4f9, font-weight:bold, font-size:14px classDef games fill:#f9f9d4, font-weight:bold, font-size:14px classDef future fill:#f9d4f9, font-weight:bold, font-size:14px A["Bernard Wong"] --> B["G-Tech: juegos de RV/RA con BCI. 1"] B --> C["Productos G-Tech BCI: Unity Speller,
modelo Simulink, SDK. 2"] C --> D["Unity Speller: protocolo P300,
controla juego vía UDP. 3"] D --> E["P300: paradigma oddball, estímulos
objetivo vs no objetivo. 4"] D --> F["Unity Speller: cuadrícula de caracteres seleccionable,
filas/columnas intermitentes. 5"] D --> G["Contar destellos entrena clasificador,
detecta respuesta P300. 6"] D --> H["Caracteres deletreados controlan juego
Unity separado vía UDP. 7"] H --> I["Demo: Unity Speller elimina
obstáculos en juego 2D. 8"] C --> J["Modelo Simulink: estímulos BCI,
procesamiento de señal, juego 3D. 9"] J --> K["Ejemplo: enfocar en colores de formas,
adivinar color objetivo. 10"] J --> L["Simulink maneja adquisición de datos,
filtrado, clasificación, control de juego. 11"] C --> M["Paquete SDK de Unity: integra BCI
flexiblemente en aplicaciones. 12"] M --> N["SDK de Unity soporta ERP,
protocolos BCI cVEP. 13"] M --> O["Soporte SSVEP planeado para
control continuo de BCI. 14"] M --> P["SDK de Unity permite juegos de RV
con Oculus Quest 2. 15"] M --> Q["Juego de TDAH en desarrollo,
se enfoca en piezas de rompecabezas. 16"] Q --> R["Enfocarse revela imagen,
puede mejorar concentración. 17"] B --> S["BCI como 'superpoder', no reemplaza
controles de juego estándar. 18"] B --> T["Consideraciones: entrenamiento más corto,
menos aplicaciones separadas. 19"] B --> U["Iluminación brillante crucial para
efectividad de estímulos visuales BCI. 20"] B --> V["Tasa de fotogramas estable crítica para
sincronización precisa de estímulos, clasificación. 21"] B --> W["Evolución: mejor integración de BCI
en entornos de juego. 22"] B --> X["Bluetooth: auricular Unicorn se conecta
directamente a Unity. 23"] X --> Y["Integración Unicorn Unity: soporte para Oculus/Meta
Quest 2/3, Pico 4. 24"] B --> Z["BCI introduce retraso de 3-5s,
adecuado para interacciones ocasionales. 25"] B --> AA["Entrenamiento de clasificador más largo puede
reducir falsos positivos. 26"] B --> AB["Activo Unicorn Unity: integración fácil
de arrastrar y soltar en juegos. 27"] B --> AC["Soporte para Linux, SteamDeck para
SDK Unicorn Unity explorado. 28"] B --> AD["Simulador Unicorn permite desarrollo
sin auricular físico. 29"] B --> AE["Herramientas de G-Tech: más fáciles de usar,
integradas para adopción más sencilla. 30"] class A,B,W,X,Y,Z,AA,AB,AC,AD,AE gtech class C,D,F,G,H,M,N,O,P,Q unity class E,I,J,K,L,S,T,U,V bci class R games

Resumen:

1.-Bernard, un desarrollador de software en G-Tech, presentó sobre el desarrollo de juegos de RV/RA utilizando tecnología de interfaz cerebro-computadora (BCI) y Unity.

2.-G-Tech ofrece diferentes productos para desarrollar juegos de RV/RA con BCI: una aplicación Unity Speller, modelo Simulink y paquete Unity.

3.-La aplicación Unity Speller permite seleccionar comandos utilizando el protocolo P300 para controlar una interfaz de juego independiente vía UDP.

4.-El protocolo P300 utiliza un paradigma oddball con estímulos objetivo infrecuentes entre estímulos no objetivo frecuentes para provocar una respuesta cerebral.

5.-La interfaz Unity Speller tiene una cuadrícula seleccionable de caracteres. Los usuarios se enfocan en un caracter objetivo mientras las filas/columnas parpadean.

6.-Contar los destellos objetivo entrena un clasificador para detectar la respuesta cerebral P300, permitiendo al usuario deletrear caracteres.

7.-Los caracteres/comandos deletreados pueden controlar aspectos de una aplicación de juego Unity separada conectada vía UDP.

8.-En una demostración, Unity Speller seleccionó colores para eliminar obstáculos en un juego 2D estilo Mario que se ejecuta por separado.

9.-El modelo Simulink integra los estímulos BCI y el procesamiento de señales con el entorno de juego 3D real en una aplicación.

10.-Un ejemplo de juego Simulink hace que el usuario se enfoque en los colores de las formas 3D para adivinar el color oculto de una forma objetivo.

11.-El modelo Simulink maneja la adquisición de datos, el filtrado y la clasificación de los datos BCI para controlar el juego.

12.-Un SDK de paquete Unity permite integrar estímulos BCI, procesamiento de señales y lógica de juego de manera flexible en una aplicación cohesiva.

13.-El paquete Unity actualmente soporta potenciales relacionados con eventos (ERP) y protocolos BCI de potencial evocado visual basado en códigos (cVEP).

14.-El soporte para SSVEP está planeado para el SDK de Unity en el futuro. Permite el control continuo de BCI.

15.-El SDK de Unity permite crear juegos de RV con control BCI integrado utilizando el auricular Oculus Quest 2.

16.-Un juego de TDAH está en desarrollo utilizando el SDK de Unity BCI para que los usuarios se enfoquen en piezas de rompecabezas.

17.-Enfocarse en los rompecabezas para revelar una imagen subyacente puede ayudar a mejorar las habilidades de concentración en niños con TDAH.

18.-Los juegos de Unity BCI tienen como objetivo hacer que el control BCI sea un "superpoder" adicional en lugar de reemplazar completamente los controles estándar.

19.-Las consideraciones importantes para los juegos de Unity BCI incluyen usar tiempos de entrenamiento más cortos y minimizar el número de aplicaciones separadas necesarias.

20.-La iluminación ambiental debe ser lo suficientemente brillante para que los estímulos visuales BCI sean efectivos en evocar las respuestas cerebrales.

21.-Una tasa de fotogramas estable es crítica en los juegos de Unity BCI para permitir estímulos cronometrados con precisión y clasificación precisa de respuestas cerebrales.

22.-El desarrollo de juegos BCI de G-Tech ha evolucionado para integrar mejor los estímulos en el entorno de juego real dentro de una aplicación.

23.-Bluetooth permite conectar directamente el auricular Unicorn BCI de G-Tech a Unity sin transmitir datos a través de una interfaz separada.

24.-La integración Unicorn Unity pronto soportará los auriculares de realidad virtual Oculus/Meta Quest 2/3 y Pico 4.

25.-El procesamiento de señales BCI introduce un retraso de aproximadamente 3-5 segundos para los comandos, adecuado para interacciones ocasionales en el juego pero no para control continuo.

26.-Prolongar el entrenamiento del clasificador de 30 segundos a 1 minuto puede reducir los falsos positivos al cambiar el enfoque entre objetos seleccionables.

27.-El activo Unicorn Unity estará disponible en la tienda de activos de Unity para permitir una fácil integración de arrastrar y soltar en los juegos.

28.-Se está explorando el soporte para LINUX y SteamDeck para el SDK Unicorn Unity, pero aún no está completamente implementado.

29.-Un simulador Unicorn permite desarrollar juegos BCI sin un auricular físico para facilitar la colaboración entre desarrolladores remotos.

30.-Las herramientas de desarrollo de juegos BCI de RV/RA de G-Tech han evolucionado para ser más fáciles de usar e integradas de manera cohesiva para facilitar una adopción más sencilla.

Bóveda de Conocimiento construida porDavid Vivancos 2024