Hace un par de días, el portal de preimpresión bioRxiv.org publicó el trabajo de investigadores rusos del Instituto de Física y Tecnología de Moscú y de las empresas Neurobotics y Neuroassistive Technologies, que se dedican a la creación de interfaces de neurocomputadoras. El documento sostiene que los científicos y desarrolladores han logrado enseñar un algoritmo en tiempo real para reconstruir un video visto por una persona usando señales de EEG. Suena realmente genial e interesante, casi como leer la mente. De hecho, por supuesto, no todo es tan simple: las computadoras no han aprendido a leer los pensamientos. En resumen, la computadora aprendió de la grabación de EEG para determinar qué imagen de cinco clases diferentes previamente conocidas vio el sujeto. Acerca de cómo se construyó el experimento, qué tareas establecieron los científicos y por qué es poco probable que la lectura de la mente se realice en un futuro cercano, lo contamos en nuestro blog.
En general, la idea de leer la señal eléctrica del cerebro y descifrarla para que puedas ver lo que una persona está pensando o haciendo en un momento dado, dado el ritmo del progreso tecnológico actual, no parece tan difícil. Aquí hay una señal, y esto es lo que significa esta señal: sume dos y dos, entrene el clasificador y obtenga el resultado que necesitamos.
El resultado es lo que los futuristas y la gente ignorante llamarían "lectura de la mente". Y parece que tal tecnología podría encontrarse en una variedad de aplicaciones: desde interfaces perfectas cerebro-computadora que le permiten controlar prótesis inteligentes, hasta crear un sistema que finalmente diga lo que su gato está pensando allí.
norte
En realidad, por supuesto, no todo es tan simple, y la idea de crear tal algoritmo se rompe casi de inmediato en el obstáculo principal: tenemos que lidiar con el cerebro. El cerebro es algo muy complejo: tiene más de 80 mil millones de neuronas y las conexiones entre ellas son varios miles de veces más.
Incluso para un lego está claro: esto es demasiado para que comprendamos de qué es responsable cada célula y su conjunto. Los científicos aún no han descifrado el conectoma humano, incluso si están tratando de hacerlo con relativo éxito.
Surge una pregunta lógica: ¿es necesario comprender las funciones de cada neurona para representar con precisión lo que está sucediendo en el cerebro? ¿Realmente no hay suficientes mapas funcionales, por ejemplo?
La respuesta a esta pregunta, de hecho, debería ser "sí", pero incluso aquí no es tan simple. Si la humanidad confiara en decodificar el conectoma como la única clave para desvelar el misterio del cerebro, hoy estaríamos muy cerca. Sin embargo, sabemos algo sobre cómo funciona nuestro cerebro y, por supuesto, podemos utilizarlo con éxito.
Video promocional:
Uno de los ejemplos más brillantes y obvios del uso del conocimiento acumulado por los científicos sobre el trabajo del cerebro son, por supuesto, las neurointerfaces. En general, hoy en día realmente existen tecnologías que permiten leer la actividad cerebral y utilizarla para controlar, por ejemplo, el cursor de un ratón de ordenador o incluso los movimientos de una prótesis.
Hay dos formas de lograr un funcionamiento eficiente de la interfaz neuronal. El primer método son los potenciales evocados: miramos la curva de la actividad eléctrica de determinadas partes del cerebro y seleccionamos en ella aquellos cambios en la señal que, como sabemos con certeza, aparecen en un momento determinado después de la presentación del estímulo.
La segunda forma es no depender en absoluto de la estimulación, sino utilizar la imaginación de la persona para generar una señal eléctrica que se pueda leer. Por ejemplo, se le puede pedir a una persona que visualice cómo mueve la pierna o el brazo.
Ambos métodos tienen importantes desventajas. El primero se ve obstaculizado por el hecho de que el número de potenciales evocados de forma fiable que conocemos no es tan grande: su número no puede cubrir exactamente todas las acciones posibles realizadas por una persona. La desventaja del segundo es que se requiere un entrenamiento prolongado para lograr al menos algún efecto.
Los autores de la preimpresión decidieron combinar ambos enfoques para crear interfaces de neurocomputadora, creyendo con razón que esto salvaría a ambos métodos de limitaciones significativas y permitiría desarrollar un método nuevo y más efectivo para trabajar con neurointerfaces en la actualidad.
También se asumió que este método será cerrado (lazo cerrado), es decir, el resultado obtenido con su ayuda afectará, a su vez, el funcionamiento del algoritmo. Pero más sobre eso más adelante.
Al principio, el algoritmo descompone todas las imágenes en signos componentes separados, distribuidos en el espacio vectorial, con la ayuda de los cuales pueden correlacionarse con ciertas señales cerebrales registradas mediante el EEG.
En esta etapa inicial, se usa un clasificador binario, en términos generales, el mismo "dos y dos": al tener una señal suficientemente limpia (el registro de EEG se eliminó de los artefactos motores), puede elegir uno u otro con una precisión mayor que un golpe aleatorio.
norte
En sus experimentos, los científicos utilizaron videos de objetos de cinco clases: imágenes de personas, cascadas, formas geométricas abstractas, deportes extremos y autos Goldberg. Por un lado, un conjunto así parece extraño, pero por otro, parece que todos estos objetos son muy diferentes entre sí. De hecho, ¿hay algo en común entre los rostros humanos y las formas geométricas abstractas?
Mientras tanto, según el clasificador binario, las figuras abstractas y los rostros humanos son indistinguibles entre sí: los resultados de nueve de los 17 participantes del estudio muestran que la interfaz neuronal, aparentemente, no pudo distinguir entre ellos. Pero las máquinas de Goldberg y los mismos rostros, desde el punto de vista del cerebro, por el contrario, difieren bien entre sí.
Resultados de clasificación. A - formas abstractas, W - cascadas, HF y mdash; rostros humanos, GM - Coches Goldberg, E - deportes extremos.
A primera vista, no está muy claro por qué sucede esto: más bien, las mismas máquinas y formas geométricas no se pueden distinguir entre sí. Todo se vuelve un poco más claro si observa un ejemplo de fotogramas de los videos utilizados.
Imágenes de muestra de cinco clases.
Lo más probable (nosotros, por supuesto, solo podemos suponer aquí), el éxito del clasificador depende de cuánto difieren entre sí las imágenes utilizadas en las dos clases en algunas características básicas y superficiales, en primer lugar, en el color. Esto también se correlaciona bien con el hecho de que la dimensión del espacio latente en el codificador automático es 10.
En general, para clasificar imágenes de cinco clases basta una dimensión de cinco, pero en este caso se hará con un máximo del histograma de color, lo que significa que la dimensión 10 no mejorará demasiado y aclarará el resultado.
No está muy claro por qué los autores no usaron un clasificador lineal para cinco clases a la vez en lugar de diez clasificadores binarios: lo más probable es que hubiera sido mejor.
Luego viene la etapa de reconstrucción de la imagen resultante. El hecho de que salga manchado es comprensible: el punto está en la misma dimensión del espacio latente. Pero aquí dos cosas confunden.
La primera es que las imágenes originales y reconstruidas son muy similares entre sí. Aquí, por supuesto, no quiero molestar a nadie (incluyéndonos a nosotros mismos, todavía estamos por avanzar), pero esto no se debe al hecho de que la señal esté tan bien grabada y decodificada (¡e incluso en tiempo real!), Pero debido a que el algoritmo restaura exactamente las imágenes que ya tenía.
Además, esto no siempre funciona tan bien como nos gustaría: si, por ejemplo, miras el video del funcionamiento del sistema, notarás que en el video con un hombre llorando la interfaz neuronal por alguna razón ve a una mujer. Esto se debe a que el algoritmo no reconstruye imágenes, sino objetos de una determinada clase: incluso si lo hace con la suficiente eficiencia, nada impide que el algoritmo vea un barco en la imagen de una motocicleta, simplemente porque pertenecen a la misma clase.
Por lo tanto, lo que aparece en la pantalla durante la reconstrucción suele ser solo una imagen promedio de todos los objetos de clase utilizados.
En cuanto al significado de usar un sistema cerrado, entonces no todo está muy claro con él: cuando realiza una tarea, una persona ve tanto una grabación de señales de EEG como una imagen que emerge gradualmente de su cabeza. Es difícil decir si esto realmente ayuda: los autores no compararon el rendimiento de la interfaz con y sin refuerzo. Pero a primera vista parece que no realmente. Si ayuda, realmente quiero saber cómo.
En general, podemos concluir con seguridad que las computadoras no han aprendido a leer pensamientos. Y ni siquiera aprendieron a recrear el video. Todo lo que han aprendido a hacer, basándose en el trabajo de los científicos, es clasificar los objetos que han visto en cinco clases basándose en algunos criterios básicos. ¿Las computadoras han podido hacer esto antes? Por supuesto que podrían. ¿Hay un cerebro aquí? Por supuesto que la hay: pero es el cerebro el que ve, no el cerebro el que comprende exactamente lo que vio.
Elizaveta Ivtushok
