El Fin Del Conocimiento - Bóveda 3 - G.TEC BCI & Neurotecnología Escuela de Primavera 2024 - Día 4

graph LR classDef phd fill:#f9d4d4, font-weight:bold, font-size:14px classDef neurogames fill:#d4f9d4, font-weight:bold, font-size:14px classDef bci fill:#d4d4f9, font-weight:bold, font-size:14px classDef games fill:#f9f9d4, font-weight:bold, font-size:14px classDef tips fill:#f9d4f9, font-weight:bold, font-size:14px A["Michele Romani"] --> B["Estudiante de doctorado, BCI en juegos. 1"] A --> C["Neurojuego: mecánicas controladas por el cerebro. 2"] A --> D["Los juegos impulsaron la industria informática y de videojuegos. 3"] A --> E["Primer juego cerebral: años 70. 4"] E --> F["Juegos BCI: entrenamiento, tratamiento,
rehabilitación, accesibilidad. 4"] A --> G["Aplicaciones BCI: clínicas, no clínicas. 5"] A --> H["Componentes BCI: usuario, procesamiento,
extracción, entrenamiento, interfaz. 6"] A --> I["Se utilizan potenciales evocados visualmente. 7"] A --> J["Interfaz BCI de Unity de Michele. 8"] J --> K["Brain Hockey, Green Shield desarrollados. 9"] K --> L["Fase de entrenamiento calibra el clasificador. 10"] L --> M["Entrenamiento recoge datos, entrena,
prueba clasificador. 11"] K --> N["Métricas en el juego: precisión, tasa de transferencia. 12"] K --> O["Pruebas piloto: 80%+ precisión en
Green Shield, mejora en repeticiones. 13"] K --> P["Brain Hockey más difícil, 60% precisión
vence a la IA, puntuaciones mejoraron. 14"] K --> Q["100% precisión sobre 90 enemigos
en Green Shield. 15"] K --> R["Probabilidades del clasificador validaron resultados. 16"] A --> S["Dificultades: calidad de señal, calibración,
confianza, diseño visual. 17"] S --> T["Señal pobre hace el juego poco fiable. 18"] S --> U["Más de 30 pruebas para calibración,
60 ideal. 19"] S --> V["Confianza equilibra precisión vs velocidad. 20"] S --> W["Evitar estímulos transparentes, superpuestos,
en movimiento. 21"] A --> X["Consejos: entender BCI, probar,
elegir paradigma. 22"] X --> Y["Gamificar calibración, usar controles híbridos. 23"] X --> Z["Variar tiempo de enfoque para dificultad. 24"] A --> AA["Desafíos: reducir calibración,
mejorar fiabilidad, reducir desperdicio. 25"] A --> AB["Clasificación en dispositivo, eliminación de artefactos. 26"] A --> AC["Nuevos modelos específicos de sujeto cada sesión. 27"] A --> AD["Explorando modelos persistentes,
pre-entrenamiento, auto-entrenamiento. 28"] A --> AE["Fatiga un problema, descansos ayudan,
imaginación motora una opción. 29"] A --> AF["Configuración mínima en parte trasera de la cabeza suficiente. 30"] class A,B phd class C,D,E,F,G neurogames class H,I,J,K,L,M,N,O,P,Q,R,AA,AB,AC,AD,AE,AF bci class S,T,U,V,W,X,Y,Z tips

Resumen:

1.- Michele es un estudiante de doctorado que trabaja en llevar la tecnología de interfaz cerebro-computadora (BCI) a los videojuegos.

2.- Define un neurojuego como aquel cuyas mecánicas son controladas parcial o totalmente por la entrada cerebral.

3.- Los juegos han sido un factor impulsor en la industria de la informática y los videojuegos durante los últimos 50 años.

4.- El primer juego cerebral data de los años 70. Los juegos BCI se han utilizado para entrenamiento, tratamiento, rehabilitación, accesibilidad.

5.- Las principales aplicaciones son clínicas (accesibilidad, rehabilitación) y no clínicas (juegos serios para investigación, entretenimiento).

6.- Un sistema BCI tiene componentes de usuario, procesamiento de datos, extracción de características, entrenamiento de clasificador y una interfaz de control (el juego).

7.- Los juegos discutidos utilizan potenciales evocados visualmente - estímulo único, estado estacionario (SSVEP) y modulado por código.

8.- Michele desarrolló una interfaz de Unity para crear fácilmente juegos BCI, manejando el procesamiento de señales y la clasificación.

9.- Brain Hockey (similar a Pong) y Green Shield (similar a Space Invaders) son dos juegos que desarrolló utilizando el método de estímulo único.

10.- Los juegos tienen una fase de entrenamiento para calibrar el clasificador a las señales cerebrales del jugador. Los elementos de la interfaz indican buena o mala calibración.

11.- Bajo el capó, el entrenamiento recoge datos cerebrales para los estímulos objetivo, entrena un clasificador, probado con validación cruzada.

12.- En el juego, las métricas de rendimiento son la precisión de la tarea (usando la entrada correcta para el objetivo del juego) y la tasa de transferencia de información.

13.- En las pruebas piloto, los jugadores lograron más del 80% de precisión en su primer intento en Green Shield. Las puntuaciones mejoraron en sesiones repetidas.

14.- Brain Hockey se sintió más difícil para los jugadores. El 60% de precisión puede vencer a la IA. Las puntuaciones también mejoraron en intentos adicionales.

15.- Para mostrar fiabilidad, Michele logró un 100% de precisión en 90 enemigos consecutivos durante 3 rondas en Green Shield.

16.- Los gráficos de probabilidad del clasificador coincidieron con la secuencia de objetivos esperada, validando los resultados de la clasificación.

17.- Los errores comunes en los neurojuegos incluyen mala calidad de señal, calibración demasiado corta, niveles de confianza no ideales, diseño visual subóptimo.

18.- La calidad de la señal se puede verificar antes del juego. La mala calidad hace que el juego sea poco fiable.

19.- Se recomiendan al menos 30 pruebas para la calibración, 60 es ideal. Los niveles de confianza equilibran precisión vs velocidad.

20.- Alta confianza significa alta precisión pero más lento. Baja confianza es más rápida pero menos precisa. El diseño depende del número de objetivos.

21.- Los estímulos transparentes y los objetivos superpuestos/móviles hacen que la clasificación sea más difícil y deben evitarse.

22.- Consejos de diseño: entender las limitaciones de BCI, probar tú mismo y con otros, diseñar en torno a las posibilidades del juego, elegir el paradigma BCI correcto.

23.- Gamificar la fase de calibración para hacerla atractiva. Se pueden usar tanto entradas BCI como estándar en esquemas de control híbridos.

24.- Variar el tiempo de enfoque requerido para la clasificación para ajustar el nivel de dificultad.

25.- Desafíos actuales: reducir el tiempo de calibración mediante modelos persistentes y pre-entrenamiento, mejorar la fiabilidad con menos canales, reducir el desperdicio de datos.

26.- La clasificación y la eliminación de artefactos se realizan en el dispositivo. Utiliza un clasificador de análisis discriminante lineal modificado.

27.- Cada sesión de juego actualmente entrena un nuevo modelo específico del sujeto. Se está explorando la preservación de datos entre sesiones.

28.- Los modelos pre-entrenados de múltiples sujetos y el auto-entrenamiento durante el juego son vías para reducir el tiempo de calibración.

29.- La fatiga es un problema, especialmente con los estímulos intermitentes. Los descansos ayudan. Paradigmas BCI alternativos como la imaginación motora son opciones.

30.- Solo se necesitan canales occipitales sobre la corteza visual para juegos BCI evocados visualmente. Una configuración mínima en la parte trasera de la cabeza es suficiente.

Bóveda de Conocimiento construida por David Vivancos 2024