Sinestesia Algorítmica
Rubén Rodríguez Abril
La sinestesia es una curiosa facultad que induce a experimentar y asociar sensaciones procedentes de canales perceptivos distintos. La imagen que encabeza este artículo es obra de Melissa McCracken, una artista sinesteta que da color a la música (en este caso Since I’ve Been Lovin’ You de Led Zeppelin). En este artículo discutiremos las teoría neurocientíficas que se han ofrecido para explicar este fenómeno y cómo se relaciona con los últimos desarrollos en redes neuronales artificiales.
La sinestesia
Llámase sinestesia a aquel fenómeno neurológico por el cual se entrelazan sensaciones procedentes de varios sentidos como la vista, el sonido o el olfato. El individuo que experimenta este fenómeno, denominado sinesteta, puede ser capaz así de gustar los sentimientos, ver las notas musicales u oír colores, entre otras manifestaciones.
Se trata de un fenómeno no patológico, que afecta a tan sólo el 4% de la población adulta general, pero que ha tenido ha tenido una extraordinaria importancia en el crecimiento y desarrollo artístico de muchos pintores y músicos. Vasili Kandinski, en su libro De lo Espiritual en el Arte, así como Vincent Van Gogh, en cartas a su hermano Theo, aseguraban que sus mentes asociaban involuntariamente los diferentes colores de la luz a sentimientos, sonidos o notas musicales. Se sospecha que Arthur Rimbaud o Wolfgang Amadeus Mozart pudieron haber experimentado también sensaciones similares.
“Amarillo, rojo y azul”, de Kandinsky. Google Arts, en colaboración con el Centro Pompidou de París, creó un proyecto online (“Play a Kandinsky”) que permitía “escuchar la música de los cuadros de Kandinski”. De este modo se recreaban las experiencias sinestéticas del artista ruso.
Ideastesia
9MSTQ5
Un ejemplo de ideastesia. Cada grafema es asociado a un color diferente.
Retroalimentación el el Sistema Nervioso
Neurociencia de la Sinestesia
Han existido múltiples teorías explicativas del fenómeno sinestético en el cerebro humano. En el ámbito de la sinestesia grafema-color (que asocia un símbolo a un color determinado, por ejemplo, la letra A al color rojo, y representa el 65% de las sinestesias totales) el trabajo “Temporal dissociation of neural activity underlying synesthetic and perceptual colors” de Teichman et al. ha contrastado dos teorías diferentes.
La primera de ellas, denominada teoría de la activación cruzada (cross-activation theory) afirma que la activación de células C y S de la corteza visual relacionadas con un símbolo produce directa e inmediatamente la percepción del color de que se trate.
La segunda de ellas (teoría de la mediación conceptual, conceptual mediation theory) postula que son los circuitos neuronales que procesan la información semántica de alto nivel los que producen la percepción del color rojo, probablemente enviando impulsos eléctricos de vuelta a la corteza visual primaria (V1) o al núcleo geniculado lateral. Los resultados de los investigadores parecen apoyar la segunda hipótesis, toda vez que constataron que la percepción del color sinestético asociado a símbolos acromáticos tenía lugar tras un retraso medio de unos 100 ms, lo que sugiere que en la sinestesia grafema-color están involucrado el procesamiento de información semántica de alto nivel.
El Núcleo Geniculado Lateral
Helena Maleno et al., en su estudio “Grapheme-color synesthetes show peculiarities in their emotional brain: cortical and subcortical evidence from VBM analysis of 3D-T1 and DTI data”, parece sugerir que el tálamo (donde se encuentra el núcleo geniculado lateral) tiene una gran importancia en la percepción de los fenómenos de sinestesia grafema-color. Cabe señalar que el núcleo geniculado lateral (NGL) es un fragmento del tálamo que actúa como una suerte de estación de repetición de impulsos ópticos. Allí acaban el 90% de los axones que arrancan en la retina y que se despliegan a lo largo del nervio y el tracto óptico. Y allí, a su vez, empiezan las fibras nerviosas que a través de la radiación óptica culminan en la corteza visual primaria.
Circuitos de retroalimentación
El núcleo geniculado lateral presenta la particularidad que no sólo recibe impulsos de la retina, sino también de otras partes del encéfalo, incluida la corteza. El trabajo citado parecería sugerir, por tanto, que estas conexiones de retroalimentación encéfalo-NGL intervienen, de algún modo, en los fenómenos sinestéticos. En esta idea parecería también incidir el estudio “From the thalamus with love: A rare window into the locus of emotional synesthesia”, de Schweizer et al, que reporta el caso de un hombre que desarrolló sinestesia emocional tras sufrir una lesión vascular en el tálamo. Esta zona del encéfalo parece configurarse, pues, como una pieza clave en los procesos de percepción sinestéticos, durante los cuales se mezcla información semántica con información procedente de los diversos sentidos.
La línea continua indica el procesamiento de la información visual procedente de la retina. La información se dirige en primer lugar hacia el NGL a través del nervio y el tracto ópticos. Y después alcanza la corteza visual (área V1) a través de la radiación talámica (óptica). Como se puede ver, hay un bucle de realimentación (línea discontinua) entre la corteza cerebral y el tálamo.
Información semántica y cromática en la IA
Fenómenos similares a la sinestesia se producen también en el ámbito de algunas redes neuronales artificiales. En ellas, la propia arquitectura de red induce a la mezcla de información semántica y cromática a diferentes niveles. O incluso introduce procesos de retroalimentación e intercambio recíproco de datos entre las diferentes capas la red.
Segmentación semántica
El ejemplo más palmario de ello son los sistemas segmentación semántica, que no dejan de ser una suerte de ideastesia algorítmica en la que las diferentes regiones de una imagen son coloreadas en base al contenido semántico de las mismas.
Arquitecturas en U
En las arquitecturas en U, durante la fase descendente la información atraviesa capas de convolución y descenso de resolución (downsampling, pooling). Con ello se va despojando de su contenido geométrico, que se va transformando en otro de carácter semántico. Después, en la fase ascendente, esta información semántica se combina con información de naturaleza geométrica llegada a través de conexiones atajo. Y finalmente, en la capa inmediatamente anterior a la salida la mezcla se hace con información de tipo cromático, tal y como se muestra en esta ilustración:
Comparación entre el flujo de información visual a través del sistema nervioso humano (izquierda) y el funcionamiento de una arquitectura U-Net (derecha). En el primero de los casos, el núcleo geniculado lateral probablemente mezcla información visual-cromática, recibida a través del tracto óptico, con información de tipo semántico procedente del cortex visual. En una arquitectura en forma de U también se mezcla información de tipo cromático, geométrico y semántico a lo largo de su fase ascendente. La información cromática procede de los tres canales (rojo, verde, azul) de la entrada, y llega a la capa de de salida a través de una conexión atajo. Aquella información de contenido geométrico llega, procedente de las primeras capas convolucionales, también a través de una conexión atajo. La información semántica procede de las zonas más profundas de la red.
Mecanismos incepcionistas
En algoritmos como DeepDream o DeepDraw la mezcla de información cromática y semántica se logra a través de procesos de realimentación y reenvío. Por lo general, en un perceptrón multicapas orientado hacia adelante, el flujo de datos es unidireccional: avanza desde la entrada hacia la salida, sin bucles. Sin embargo, en los algoritmos reseñados el flujo de información no es completamente unidireccional, sino que aparecen bucles de retroalimentación. Las capas más altas, cargadas de información semántica, envían esta información hacia la capa de entrada por medio del mecanismo de retropropagación del gradiente. Y allí, provocan progresivamente la modificación de la imagen en proceso de formación.
Retroalimentación entre tálamo y corteza
Es, ciertamente, sugestiva la comparación de estos procesos computacionales con lo que sucede en el núcleo geniculado lateral del tálamo, que también recibe conexiones e información de vuelta procedentes de la corteza visual primaria. No podemos dejar de acordarnos de la interpretación cibernética que Wiener daba del cerebro humano, como un conjunto bucles entrelazados de retroalimentación que gobernaban el funcionamiento del mismo, y que mantenían a raya el crecimiento de la entropía y del ruido.
Conclusión
Lecturas recomendadas
– Teichmann, L. et al.(2021) Temporal dissociation of neural activity underlying synesthetic and perceptual colors.
– Meleno, H. el al. (2013) Grapheme-color synesthetes show peculiarities in their emotional brain: cortical and subcortical evidence from VBM analysis of 3D-T1 and DTI data.
– Schweizer, T. A. et al. (2013) From the thalamus with love: A rare window into the locus of emotional synesthesia.
– Milán, E. G. et al. (2012) Auras in mysticism and synaesthesia: A comparison.
