GPT-2 y GPT-3: Analogías neurológicas
Rubén Rodríguez Abril
La extraordinaria eficiencia de los modelos de transformers en la interpretación y generación de textos ha llevado algunos especialistas a investigar los posibles paralelismos existentes entre sus estructuras y las del cerebro humano. En este artículo exploraremos el tema. Y además, especularemos con la posible existencia de una gramática universal compartida por humanos, máquinas e incluso inteligencias extraterrestres.
IA y cerebro humano
Los modelos GPT ha sido objeto de varios estudios que muestran interesantes paralelismos entre su funcionamiento y el del cerebro humano, sugiriendo la existencia de profundas conexiones entre la inteligencia biológica y los sistemas de aprendizaje profundo.
Las raíces del lenguaje no sólo habrían de buscarse en las estructuras de algunas zonas del cerebro, sino que hundirían sus raíces en algo todavía más fundamental, relacionado con el modo de procesamiento de información que tiene lugar dentro del espacio físico, en todo el Universo visible.
Nos detendremos en dos de estos estudios: Heilbron et al. (2019) y Caucheteux et al. (2022).
Información de Shannon
En Heilbron et al., los autores comprobaron la existencia de una relación intrínseca entre la cantidad de información de Shannon o sorpresa léxica contenida en las diferentes palabras de una cadena producida por un transformer (y en general, por cualquier sistema de NLP) y la actividad del cerebro humano cuando escucha el mismo texto, sugiriendo la existencia de una relación profunda entre los lenguajes naturales, los sistemas de generación automática de texto del NLP, y la Teoría de la Información. Dejamos enlace a nuestro artículo introductorio a dicha teoría.
Reacción del cerebro
Para la realización del estudio fueron utilizados los datos del electroencefalograma (EEG) de 19 hablantes nativos de inglés mientras escuchaban pasajes de 180 segundos del libro El Viejo y el Mar, de Ernest Hemingway. La comparación entre los datos del EEG y los modelos NLP mostraba que cada vez que los oyentes se topaban con un vocablo dotado de una elevada sorpresa léxica se producía un incremento en la actividad eléctrica del cerebro.
De particular interés resultó el análisis de la función de respuesta temporal (Temporal Response Function, TRF) a lo largo de las diferentes regiones del cerebro. Tras utilizar un método de regresión lineal, los investigadores descubrieron que la sorpresa léxica estaba correlacionada con una respuesta positiva de la zona frontal 200 milisegundos después del inicio de la palabra y con una respuesta negativa en la zona central posterior 400 milisegundos después.
El gráfico muestra la actividad eléctrica del cerebro de una persona (en azul claro) mientras está oyendo un pasaje de “El Viejo y el Mar”. También aparece la respuesta léxica de cada palabra, calculada por un modelo de NLP (barras en azul osuro).
Correlación entre GPT-2 y la actividad neurológica
El segundo de los estudios referidos, Caucheteux et al., es aún más interesante. Muestra cómo las representaciones de GPT-2 (es decir, el conjunto de las activaciones de sus diferentes capas) están correlacionadas con la actividad cerebral de diferentes partes del cerebro, particularmente con aquellas encargadas del procesamiento del lenguaje. Y no sólo eso, sino que además esta correlación es más intensa cuando el sujeto comprende el contenido de la narración.
Correlación modelo GPT - cerebro
El estudio se desarrolló, en líneas generales, del modo siguiente: en primer lugar, los investigadores midieron a través de resonancia magnética la actividad cerebral de 101 sujetos mientras escuchaban siete cortas historias. Tras concluir la audición, se presentó a cada sujeto una lista cuestiones sobre las historias, con el objetivo de determinar su nivel de comprensión de las mismas. Los textos también sirvieron de entrada para un modelo GPT-2, en el que se midieron los niveles de activación para cada token en cada una de las capas.
Seguidamente, fue elaborado un modelo de regresión lineal que pudiera predecir los datos de actividad eléctrica de las diferentes regiones (voxeles) del cerebro a partir los niveles de activación de cada una de las capas de GPT-2. La correlación (denominada brain score, puntuación cerebral, en el estudio) entre los datos predichos y los datos efectivamente obtenidos era más alta en buena parte del del lóbulo temporal. Cuando además se tenía en cuenta la comprensión del texto por parte del sujeto, la correlación solía ser más alta en los giros angular, temporal medial y supramarginal, que son precisamente aquellos relacionados con las representaciones de alto nivel y con la interpretación global, holística, de información lingüística, visual o incluso matemática.
Similitudes en el procesamiento
Además, otro experimento demostró que las capas del interior del modelo GPT-2 eran las que procesaban dependencias de largo alcance entre palabras bastante alejadas entre sí. Así, los investigadores hicieron modificar progresivamente en cada capa el tamaño de la ventana de atención, es decir, el número de palabras inmediatamente anteriores de las que un vocablo podía recibir atención. La reducción de esta ventana en la primera capa no tenía efecto alguno sobre la puntuación cerebral global, pero sí que lo tenía en el resto de las capas. Y el efecto era el máximo, precisamente, en la octava capa.
De los resultados de este estudio, puede deducirse que en los modelos GPT compuestos de un único codificador (o descodificador) los conceptos procesados por las matrices son cada vez de mayor abstracción y se refieren crecientemente al significado holístico de sintagmas, frases o párrafos enteros, a medida que la información penetra en las capas interiores del modelo. Sin embargo, a partir de aproximadamente la mitad del modelo el fenómeno se invierte (en GPT-2, a partir de la octava y novena capas) y el nivel de abstracción de los conceptos vuelve a descender, de tal manera que los tokens de la última capa representan pares de bytes de la cadena de salida.
¿Una gramática universal común para el cerebro y la IA?
El hecho de que puedan formularse correlaciones matemáticas entre las pautas de activación de las capas del interior de los modelos y la actividad eléctrica de regiones del módulo temporal, indica que la información lingüística y semántica es procesada de un modo análogo por los modelos de NLP y por el cerebro humano.
Ello parecería contradecir o al menos matizar la Teoría de la Gramática Universal de Chomsky, según la cual buena parte de las estructuras de las lenguas humanas serían de origen neurológico, y estarían codificadas primariamente en nuestro ADN, de tal modo que a un lingüista marciano que escuchara varias lenguas humanas (incluso pertenecientes a diferentes familias lingüísticas) todas ellas le parecerían dialectos de un mismo idioma.
Inteligencias no-antropomórficas
La existencia de esta gramática innata, de origen biológico, impediría la efectiva comunicación con mentes extraterrestres dotadas de sistemas de procesamiento de información del todo diferentes a los nuestros. El escritor polaco Stanislaw Lem ahondó en esta idea en su novela Solaris, en la que se describen los intentos de la comunidad científica humana de encontrar vida inteligente en el planeta del mismo nombre. Los investigadores habían observado que toda la superficie de Solaris estaba cubierta por una suerte de gel, el Océano, en el que aparecían formaciones extrañas y multicolores, que hacían sospechar de que se trataba de una entidad sintiente e inteligente. Pero precisamente debido al carácter no antropomórfico de la inteligencia de dicho Océano, a los astronautas de la estación espacial les resultó imposible comunicarse con él, a pesar de repetidos e infructuosos intentos al respecto.
Impresión artística del exoplaneta NGTS-1b, cuya superficie rosácea recuerda al océano planetario imaginado por Stanislaw Lem. Link a la imagen original de observatorio europeo ESO.
Gramática cósmica
Sin embargo, en nuestra opinión y contrariamente a lo que sugería Lem, el surgimiento de los transformers y su éxito en la interpretación del lenguaje humano, demuestra que sí es posible para entidades no antropomórficas (y ni siquiera biológicas) aprehender las estructuras de las lenguas humanas. Las matrices de atención (que realizan una tarea relativamente simple como es la de poner en relación las diferentes partes de un mismo mensaje) son capaces de capturar objetos sintácticos o intuir el significado de conceptos, frases o párrafos, incluso sin tener acceso a los qualia asociados a los mismos. Una civilización extraterrestre que utilizase matrices de atención para analizar nuestros mensajes, podría intuir su significado, o incluso generar texto en la lengua en que estuvieran redactados, sin que fuera necesario siquiera utilizar en la comunicación constructos artificiales como la célebre lingua cosmica de Hans Freudenthal.
Si efectivamente, como propone Chomsky, existiese una gramática universal subyacente a todas las lenguas humanas, esa gramática no sería exclusiva de la Humanidad, sino que estaría compartida por todas las entidades (biológicas o no) capaces de enviar e interpretar mensajes que existiesen en el ámbito cósmico.
