Piensa en las palabras que se arremolinan en tu cabeza: esa broma de mal gusto que sabiamente guardaste para ti durante la cena; tu impresión tácita de la nueva pareja de tu mejor amigo. Ahora imagina que alguien pudiera escuchar.
El lunes, científicos de la Universidad de Texas en Austin dieron otro paso en esa dirección. En un estudio publicado en la revista Nature Neurosciencelos investigadores describieron una IA que podría traducir los pensamientos privados de sujetos humanos mediante el análisis de resonancias magnéticas funcionales, que miden el flujo de sangre a diferentes regiones del cerebro.
Los investigadores ya han desarrollado métodos de decodificación de lenguaje para reanudar el intento de hablar personas que han perdido la capacidad de hablar y permitir gente paralizada para escribir mientras pensaba en escribir. Pero el nuevo decodificador de lenguaje es uno de los primeros en no depender de implantes. En el estudio, fue capaz de transformar el habla imaginaria de una persona en habla real, y cuando a los sujetos se les mostraban películas mudas, podía generar descripciones relativamente precisas de lo que estaba sucediendo en la pantalla.
«No es solo un estímulo lingüístico», dijo Alexander Huth, neurocientífico de la universidad que ayudó a dirigir la investigación. “Estamos hablando de significado, algo sobre la idea de lo que está pasando. Y el hecho de que esto sea posible es muy emocionante.
El estudio se centró en tres participantes, que acudieron al laboratorio del Dr. Huth durante 16 horas durante varios días para escuchar «The Moth» y otros podcasts narrativos. Mientras escuchaban, un escáner fMRI registró los niveles de oxigenación de la sangre en partes de sus cerebros. Luego, los investigadores utilizaron un modelo de lenguaje grande para hacer coincidir los patrones de actividad cerebral con las palabras y frases que los participantes habían escuchado.
Los modelos de lenguaje grandes como GPT-4 de OpenAI y Bard de Google están entrenados en grandes cantidades de escritura para predecir la siguiente palabra en una oración o frase. En el proceso, los modelos crean mapas que muestran cómo las palabras se relacionan entre sí. Hace unos años, el Dr. Huth OBSERVACIÓN que los elementos particulares de estos mapas, las llamadas integraciones de contexto, que capturan las características semánticas o significados de las oraciones, podrían usarse para predecir cómo se enciende el cerebro en respuesta al lenguaje.
En un sentido fundamental, dijo Shinji Nishimoto, neurocientífico de la Universidad de Osaka que no participó en la investigación, «la actividad cerebral es una especie de señal cifrada y los patrones del lenguaje proporcionan formas de descifrarla».
En su estudio, el Dr. Huth y sus colegas revirtieron efectivamente el proceso, utilizando otra IA para traducir las imágenes de resonancia magnética funcional del participante en palabras y oraciones. Los investigadores probaron el decodificador pidiendo a los participantes que escucharan nuevas grabaciones y luego viendo qué tan bien la traducción coincidía con la transcripción real.
Casi todas las palabras estaban fuera de lugar en la escritura decodificada, pero el significado del pasaje se conservó consistentemente. Esencialmente, los decodificadores estaban parafraseando.
Transcripción original«Me levanté del colchón de aire y apoyé la cara contra el cristal de la ventana del dormitorio esperando ver ojos mirándome, pero en cambio solo encontré oscuridad».
Decodificado de la actividad cerebral: «Simplemente seguí caminando hacia la ventana y abriendo el vidrio. Me puse de puntillas y miré hacia afuera, no vi nada y volví a mirar hacia arriba, no vi nada».
Durante el examen fMRI, también se les pidió a los participantes que imaginaran en silencio contar una historia; luego repitieron la historia en voz alta, como referencia. Aquí también, el modelo de decodificación capturó la mayor parte de la versión tácita.
Versión del participante: «Busque un mensaje de mi esposa diciendo que ha cambiado de opinión y que va a volver».
Versión decodificada:: “Al verla por alguna razón, pensé que vendría a mí y me diría que me extraña”.
Finalmente, los sujetos vieron una breve película animada muda, nuevamente mientras se sometían a una resonancia magnética funcional. Al analizar su actividad cerebral, el modelo de lenguaje podría decodificar un resumen aproximado de lo que estaban mirando, tal vez su descripción interna de lo que estaban mirando.
El resultado sugiere que el decodificador de IA no solo capturaba palabras, sino también significado. “La percepción del lenguaje es un proceso externo, mientras que la imaginación es un proceso interno activo”, dijo el Dr. Nishimoto. «Y los autores demostraron que el cerebro usa representaciones comunes a través de estos procesos».
Greta Tuckute, neurocientífica del Instituto Tecnológico de Massachusetts que no participó en la investigación, dijo que esa era «una pregunta de alto nivel».
«¿Podemos decodificar el significado del cerebro?» ella continuó. «En cierto modo, muestran que sí se puede».
Este método de decodificación del lenguaje tenía limitaciones, señalaron el Dr. Huth y sus colegas. Por un lado, los escáneres fMRI son voluminosos y caros. Además, el entrenamiento de modelos es un proceso largo y tedioso, y para que sea efectivo, debe hacerse en individuos. Cuando los investigadores intentaron usar un decodificador entrenado en una persona para leer la actividad cerebral de otra, falló, lo que sugiere que cada cerebro tiene formas únicas de representar el significado.
Los participantes también pudieron proteger sus monólogos internos, agitando el decodificador mientras pensaban en otras cosas. La IA podría ser capaz de leer nuestras mentes, pero por ahora tendrá que leerlas una por una y con nuestro permiso.