El proyecto Kinect Sign Language Translator es un prototipo de investigación que puede traducir entre ambos lenguajes —en ambos sentidos— y además hacerlo en tiempo real.
Kinect logra capturar los gestos, y a través de técnicas de aprendizaje y de reconocimiento de patrones, interpreta el significado de esos gestos. El sistema que reconoce esos gestos y los traduce de forma escrita y oral en tiempo real, mientras que si una persona habla, sus frases se traducen a signos en un modelo en el ordenador.
El desarrollo, puede llevar bastante tiempo, porque necesita que cinco personas hagan el mismo gesto para una sola palabra, y así conseguir que la palabra y gesto queden relacionadas y sean reconocidas a posteriori.
Por el momento se han incluido 300 palabras chinas de un total de 4.000 que los programadores chinos están utilizando para las pruebas iniciales.
Fuente: Xataca