El Instituto de Robótica de la Universidad Carnegie Mellon ha desarrollado un brazo robótico con un pincel, que usa la inteligencia artificial para colaborar con los humanos en obras de arte.

FRIDA, que debe su nombre a Frida Kahlo, son las siglas de Framework and Robotics Initiative for Developing Arts (Iniciativa Marco y Robótica para el Desarrollo de las Artes). Carnegie Mellon ha difundido un vídeo que muestra el trabajo del robot.

Los usuarios pueden dirigir FRIDA introduciendo una descripción de texto, enviando otras obras de arte para inspirar su estilo o subiendo una fotografía y pidiéndole que pinte una representación de la misma. El equipo también está experimentando con otras entradas, como el audio. Pusieron «Dancing Queen» de ABBA y le pidieron a FRIDA que la pintara.

«FRIDA es un sistema robótico de pintura, pero no es un artista», explica en un comunicado Peter Schaldenbrand, estudiante de doctorado que forma parte del equipo que ha desarrollado el robot para explorar los límites de la Inteligencia Artificial y la creatividad. «FRIDA no genera las ideas para comunicarse. FRIDA es un sistema con el que podría colaborar un artista. El artista puede especificar objetivos de alto nivel para FRIDA y luego FRIDA puede ejecutarlos».

Una vez que el usuario humano de FRIDA ha especificado un concepto de alto nivel del cuadro que desea crear, el robot utiliza el aprendizaje automático para crear su simulación y desarrollar un plan para realizar un cuadro que cumpla los objetivos del usuario. FRIDA muestra una paleta de colores en una pantalla de ordenador para que un humano la mezcle y se la proporcione al robot.

El robot utiliza modelos de IA similares a los de herramientas como ChatGPT de OpenAI y DALL-E 2, que generan texto o una imagen, respectivamente, en respuesta a una indicación. FRIDA simula cómo pintaría una imagen con pinceladas y utiliza el aprendizaje automático para evaluar su progreso a medida que trabaja.

Los productos finales de FRIDA son impresionistas y caprichosos. Las pinceladas son atrevidas. Carecen de la precisión que tan a menudo se busca en los esfuerzos robóticos. Si FRIDA comete un error, lo retoca, incorporando la mancha de pintura errante al resultado final.

FRIDA recurre a la IA y al aprendizaje automático varias veces durante su proceso artístico. En primer lugar, dedica una hora o más a aprender a utilizar el pincel. A continuación, utiliza grandes modelos de visión-lenguaje entrenados en conjuntos de datos masivos que combinan texto e imágenes extraídos de Internet, como el Contrastive Language-Image Pre-Training (CLIP) de OpenAI, para comprender la entrada. Los sistemas de IA utilizan estos modelos para generar nuevos textos o imágenes a partir de una indicación.

Fuente: EP