El sistema de control de crucero adaptativo del piloto automático de Tesla puede reconocer incorrectamente puntos en el asfalto, tomarlos como elementos de señalización vial e ingresar en el carril contrario. La investigación, llevada a cabo por la firma china Tencent, también encontró otros errores. Los autores publicaron un artículo con una descripción detallada de los experimentos.

Hasta la fecha, muchos sistemas de visión artificial utilizan algoritmos de redes neuronales que muestran una alta precisión de reconocimiento de objetos de diferentes clases. Sin embargo, el uso de redes neuronales para trabajar con imágenes tiene sus inconvenientes, en particular, muchos investigadores en este campo prestan atención a la vulnerabilidad de las redes neuronales a los ejemplos adversos.

Estos ejemplos son datos de entrada que se modifican especialmente para forzar a la red neuronal a reconocer incorrectamente un objeto en ellos. La peculiaridad de estos datos también reside en el hecho de que, por regla general, para una persona son prácticamente indistinguibles de los datos normales. Representan un conjunto caótico de píxeles en el que una persona no reconocería una imagen en particular.

La amenaza de ejemplos adversos puede parecer bastante pequeña, especialmente si se considera que generalmente funcionan en un rango limitado de condiciones. Sin embargo, muchos investigadores consideran que esta amenaza es real y seria, ya que los algoritmos de visión por computadora se utilizan en muchas áreas, como el de los vehículos que se conducen solos.

Las vulnerabilidades de Tesla

En este caso, los investigadores de la compañía china Tencent verificaron el sistema de conducción automática del piloto automático de Tesla por su vulnerabilidad a los ejemplos competitivos y encontraron su comportamiento incorrecto en algunas condiciones.

En su investigación, los expertos eligieron no un enfoque estándar, en el que el algoritmo recibe datos modificados en forma digital, sino que decidieron llevar la situación a la realidad y crearon ejemplos competitivos en el mundo real, que el automóvil percibió a través de las cámaras. El equipo utilizó el automóvil Tesla Model S75 con la versión de hardware Autopilot 2.5 y la versión de software 2018.6.1.

Vale la pena señalar que el sistema de piloto automático en los automóviles de Tesla no es totalmente autónomo y requiere que el conductor mantenga sus manos en el volante y tome el control en situaciones difíciles, por lo que generalmente se clasifica como sistema de conducción autónoma del segundo nivel de autonomía de acuerdo con Clasificación SAE.

Los autores lograron tres resultados principales en su trabajo. El principal es el engaño del sistema de reconocimiento de señales. Los investigadores llevaron a cabo dos tipos de experimentos y pudieron forzar a los algoritmos a no reconocer la línea de marcado existente y a detectar una inexistente.

En el primer caso, los autores agregaron parches blancos a las verdaderas marcas de línea sólida, que se distribuyeron de manera desigual. En este caso, dependiendo de la ubicación de los adhesivos, el automóvil podría ver parte de la tira o no verla en absoluto. Al mismo tiempo, los investigadores notan que en la vida real, el conductor apenas se habría dado cuenta de una marca tan inusual.

El segundo experimento mostró una vulnerabilidad más peligrosa. Los investigadores colocaron en el asfalto tres stickers cuadrados, alineados de tal manera que esta línea virtual se extendía en diagonal a lo largo del carril actual. Durante el experimento, el marcado de algoritmo de reconocimiento tomó estos cuadrados como una línea e, ignorando la línea de marcado de la izquierda, hizo que el auto entré en el carril contrario.

Además, los autores mostraron que las imágenes adversas especiales que se muestran en el monitor frente al automóvil pueden hacer que se encienda el limpiaparabrisas. Este efecto se debe al hecho de que el Tesla Model S tiene la función que detecta la lluvia de la imagen de la cámara, y hace que se encienda el limpiaparabrisas. Los autores también repitieron este experimento en forma digital, modificando los datos de entrada de la cámara sin utilizar un monitor externo.

Finalmente, en el último experimento, los autores mostraron cómo una vulnerabilidad en el software de Tesla permite a los atacantes acceder y controlar el ángulo del volante con el controlador de juego. Cabe señalar que esta vulnerabilidad ya ha sido eliminada en la versión actual del software para automóviles Tesla.

Enterado del estudio, Elon Musk, uno de los fundadores de Tesla, respondió en Twitter elogiando a los hackers. “Firme trabajo el realizado por Keen, como siempre”, comentó el excéntrico multimillonario.

Fuente: nmas1.org