“Manos que hablan” es un prototipo que traduce voz y texto en un dispositivo móvil

Para auxiliar en el proceso de comunicación entre personas a quienes se les dificulta el habla e integrarlas con mayor facilidad a la sociedad, egresadas del Instituto Politécnico Nacional (IPN) desarrollaron un par de guantes con sensores que traducen, en un dispositivo móvil, voz y texto de la Lengua de Señas Mexicana.

“Manos que hablan” es el prototipo elaborado por Citlalli Selene Avalos Montiel y Flor Yelitze Pérez García, de la Unidad Profesional Interdisciplinaria en Ingeniería y Tecnologías Avanzadas (UPIITA), que detecta la Lengua de Señas Mexicana con dos guantes y las envía a un dispositivo móvil, con sistema operativo Android, previamente precargada con la aplicación Traductor, para que muestre las letras una por una hasta formar una palabra, que también puede escucharse.

“Es sencillo registrar el dispositivo del guante en el celular, primero se debe buscar el apartado Bluetooth de Configuración y elegir GuanteDer, posteriormente, en el menú de las aplicaciones, elegimos el icono del traductor que tiene dos manos con fondo blanco y contorno rosa”, explicaron las Ingenieras en Telemática.

El prototipo consta de un par de guantes, cada uno con un sensor flexible que se extiende por la curvatura de los dedos y un acelerómetro, también tiene interruptores diseñados por las politécnicas que se ajustan a las articulaciones de la mano, también elaboraron una placa de adquisición de datos, con comunicación vía Bluetooth, además utilizaron hilo conductor y cable flexible.

Asesoradas por los docentes Miguel Félix Mata Rivera y Susana Araceli Sánchez Nájera, de la UPIITA, las jóvenes politécnicas dijeron haber retomado como base de su proyecto otro prototipo elaborado en 2015, pero en esta ocasión, gracias a los avances en Inteligencia Artificial, hicieron uso de redes neuronales artificiales, que mejoraron el reconocimiento, y que fueron entrenadas para detectar señas de las letras “A” a la “O”.

“Lograr que la red neuronal detecte con fidelidad cada una de las señas ejecutada requiere de un entrenamiento amplio con refuerzos positivos de hasta 15 repeticiones o más, es como cuando le enseñamos el nombre de un objeto a un niño, se lo repetimos una y otra vez, pero cuando va acompañado con la retroalimentación es más efectivo”, comentaron las ingenieras.

Las politécnicas reconocieron que por el desgaste de los materiales del guante y de la tarjeta de adquisición de datos, además de la pandemia por COVID-19, quedó pendiente el entrenamiento del resto de las letras del abecedario, no obstante, los avances hechos al prototipo quedan como base para continuar explorando con las distintas posibilidades en inteligencia artificial.

Para las ingenieras telemáticas, la lengua de señas es similar a cualquier otro idioma extranjero, el cual sería necesario conocer para que las personas con dificultades en el oído y el habla puedan sentirse integradas a la sociedad, por ello, la idea de desarrollar este dispositivo es aprovechar el desarrollo de la tecnología para que cualquier persona tenga la posibilidad de comunicarse y facilitar su vida cotidiana.

Fuente: IPN