Desarrolladores de EE.UU. y China han creado un sistema de realidad aumentada basado en teléfonos inteligentes que permite al usuario interactuar con objetos virtuales directamente usando sus manos, en lugar de una pantalla táctil. El desarrollo fue presentado en la conferencia UIST 2019.

Contexto

La realidad aumentada (AR) nos permite incrustar objetos virtuales en el mundo real utilizando la pantalla y la cámara de un teléfono o gafas especiales. Los desarrolladores a menudo la usan en juegos, pero también hay aplicaciones útiles. Uno de los problemas clave en esta área es que, en el caso de los teléfonos, el usuario puede interactuar con objetos virtuales solo a través de la pantalla táctil, lo que reduce la sensación de realidad de dichos objetos.

El nuevo dispositivo

Ahora, ingenieros dirigidos por Jeff Huang de la Universidad de Brown complementaron al teléfono inteligente con una cámara de profundidad, lo que permitió rastrear los movimientos de las manos y usarlas para interactuar con objetos virtuales.

Recientemente, un equipo diferente de desarrolladores, crearon un algoritmo que puede rastrear con precisión los movimientos de las manos en los smartphones, por lo que los ingenieros utilizaron un dispositivo Leap Motion separado. Consiste en dos cámaras y tres LED infrarrojos, gracias a los cuales el dispositivo puede monitorear los movimientos de los dedos con alta precisión.

Dado que el sensor está diseñado para funcionar con una computadora, no con un teléfono inteligente, los ingenieros tuvieron que agregar una computadora pequeña al dispositivo en el formato de “unidad flash”.

Otros detalles

La aplicación se ejecuta sobre la base del marco ARCore para Android. Los desarrolladores le enseñaron al sistema a reconocer varios gestos de los datos de una cámara de profundidad utilizando el método de vector de soporte. Además de la pantalla, el sistema también muestra información a través del sonido y la vibración.

Los autores probaron el sistema en dos tareas: la manipulación de objetos domésticos y la construcción de una casa pequeña. Un estudio de 12 voluntarios mostró que el nuevo sistema permite a los usuarios interactuar de manera más cómoda y efectiva con objetos virtuales en comparación con usar solo la pantalla táctil.

También existen otros proyectos en los que los usuarios interactúan con la realidad aumentada directamente con sus manos. Por ejemplo, el año pasado, Leap Motion mostró el concepto de dispositivos portátiles virtuales, con los que puede interactuar con los dedos de la misma manera que con dispositivos reales, presionando botones y moviéndolos.

Fuente: nmas1.org