Presentación


 

El proyecto "Visualizando la SignoEscritura" fue el ganador de la IV Convocatoria de ayudas a proyectos de investigación en Tecnologías Accesibles, convocada por Indra y Fundación Universia. El investigador principal es Antonio F. G. Sevilla, estudiante de doctorado en la Facultad de Informática de la Universidad Complutense de Madrid, centro en el que se desarrolló el proyecto entre los años 2020 y 2021. El proyecto tuvo como objetivo el desarrollo de herramientas y aplicaciones informáticas para mejorar la accesibilidad y el uso de la SignoEscritura en el mundo digital. Los resultados del proyecto y otra información relacionada están recopilados en esta página web, incluyendo enlaces a las publicaciones y a los programas desarrollados que están disponibles online como software libre.

 

Detalles

 

La SignoEscritura es una forma de representar la Lengua de Signos en dos dimensiones, como pueda ser el papel o una pantalla, usando un sistema esquemático y formal pero también muy visual e icónico. Sin embargo, al no ser texto "tradicional" sino imágenes, los ordenadores no pueden procesarla. En este proyecto hemos creado una serie de resultados software que permiten hacer un tratamiento computacional de la LSE:

  • Corpus: el Corpus VisSE es un conjunto de muestras reales de SignoEscritura hecha a mano, que contiene 1949 transcripciones de signos de la Lengua de Signos Española, además de 915 símbolos ad-hoc de configuraciones de la mano. Las transcripciones están anotadas de manera manual, utilizando un esquema de anotación que permite tratar automáticamente la SignoEscritura usando algoritmos de deep learning. Progresivamente avanzamos en la anotación y aumentamos la cobertura del corpus, y cada versión se publica en abierto en internet.
  • Quevedo: Aplicación y librería python que sirve para gestionar la anotación de corpus (como el corpus VisSE), así como realizar deep learning sobre ellos, y finalmente utilizar este entrenamiento para incluirlo en aplicaciones o sistemas expertos. Se encuentra libremente disponible online:
  • Reconocedor: utilizando los datos del Corpus VisSE y la funcionalidad de Quevedo, hemos desarrollado un sistema experto para reconocer SignoEscritura. Este sistema utiliza varias redes neuronales profundas para superar el desafío que es reconocer un sistema de escritura icónico y bidimensional como es la SignoEscritura. La configuración del sistema y las redes neuronales entrenadas se distribuyen como parte del Corpus VisSE, y se puede utilizar con Quevedo.
    • Este sistema está descrito en la publicación "Automatic SignWriting Recognition", actualmente en proceso de publicación.
  • Aplicación Web: Como demostración de los resultados del proyecto, y para incluirlos en una aplicación práctica de tecnologías accesibles, se ha desarrollado una aplicación web progresiva, apta para dispositivos móviles así como de sobremesa. Esta aplicación permite analizar las trascripciones de SignoEscritura de manera visual, incluyendo una descripción textual de su significado así como un modelo tridimensional de la mano para representar cómo debe usarse en cada signo. El código de la aplicación está disponible en abierto, y una demostración se puede ver online:

 

El proyecto VisSE se organizó digitalmente en un meta-repositorio de GitHub que también se encuentra disponible libremente: