Desarrolladores estadounidenses han creado un método que permite escribir texto dibujándolo con el dedo en el aire. Desarrollaron un algoritmo que utiliza datos de una cámara estéreo o guantes con sensores para rastrear la punta de los dedos y reconocer la escritura a mano. El método se puede usar para ingresar datos usando un casco VR, dicen los autores de un artículo presentado en la conferencia CV4ARVR 2020.

Por lo general, los cascos de realidad virtual utilizan un controlador que el usuario tiene en su mano o en ambas manos. Con él, puede señalar objetos que le interesan e interactuar con ellos mediante botones. Para la mayoría de las interacciones, dicha interfaz es bastante adecuada y no causa muchas molestias. Pero si el usuario necesita ingresar texto, por ejemplo, para buscar la película o el video que necesita, este método funciona mucho peor, porque tiene que mover el cursor sobre letras individuales y hacer clic en ellas.

El nuevo trabajo

Por eso, Yezhou Yang y sus colegas de la Universidad Estatal de Arizona han desarrollado un método de escritura continua para cascos de realidad virtual que hace que escribir sea más natural. Los desarrolladores eligieron dos dispositivos que pueden usarse para el reconocimiento. Uno de ellos es un guante con un acelerómetro y un giroscopio instalados en el extremo del dedo índice para seguir la trayectoria.

El segundo dispositivo es el controlador Leap Motion, que consta de dos cámaras infrarrojas y una iluminación infrarroja. Reconoce independientemente la posición actual de todas las partes del pincel y le da a la computadora datos listos. En ambos casos, el usuario, cuando ingresa una palabra o una combinación de caracteres, solo necesita dibujarlos con el dedo en el aire.

Después de que el dispositivo ha recopilado datos de trayectoria, el algoritmo de clasificación, basado en la red neuronal convolucional o el método del vector de referencia, según la tarea, compara los datos del conjunto de datos ingresados por el usuario.

Resultados

Los desarrolladores probaron el funcionamiento de los algoritmos en varias tareas, incluido el reconocimiento de escritura a mano utilizando un conjunto de 210 palabras. Para el inglés, la precisión del reconocimiento fue del 79.7% con el controlador infrarrojo y de 78.5 el guante. Al mismo tiempo, los resultados para el idioma chino fueron más altos: 87.4% y 83.4%, respectivamente.

Los desarrolladores publicaron conjuntos de datos y código de biblioteca para reconocimiento en Python en GitHub. El artículo también señala que junto con el código debe publicarse y los detalles técnicos de los algoritmos.

El reconocimiento de la escritura a mano en un casco VR se puede usar potencialmente con dispositivos existentes. Por ejemplo, Oculus Quest recibió el año pasado una actualización que agrega la capacidad de rastrear en tiempo real la posición de las manos y todos los dedos.

Fuente: nmas1.org