SIMA AI: Crea tus entornos virtuales con esta IA

 

Los videojuegos son un importante campo de pruebas para los sistemas de inteligencia artificial (IA). Al igual que el mundo real, los juegos son entornos de aprendizaje ricos con parámetros de retroalimentación en tiempo real y objetivos en constante cambio. Desde los primeros trabajos en juegos de Atari hasta los sistemas AlphaStar que juegan StarCraft II a nivel de gran maestro humano, Google tiene una larga trayectoria en DeepMind AI y juegos.

Hoy anunciamos un nuevo hito que cambia nuestro enfoque de los juegos individuales a agentes de IA de juegos de uso general y entrenables. Un nuevo documento técnico presenta SIMA, abreviatura de Scalable Instructable Multiworld Agent, un agente de IA generalizable para entornos virtuales 3D. SIMA está capacitada en una variedad de videojuegos. ¡Sigue leyendo!

¿Qué es y para qué sirve SIMA?

SIMA AI consta de un modelo de vista predefinido y un modelo de cabeza que tiene memoria y realiza acciones de teclado y mouse Aprender a jugar un videojuego es una hazaña técnica para un sistema de IA, pero aprender a seguir instrucciones en una variedad de configuraciones de juego puede resultar en agentes de IA que sean más útiles en todos los entornos. 

Las investigaciones mostraron cómo las capacidades de los modelos avanzados de IA se pueden traducir en tareas ejecutables del mundo real a través de interfaces lingüísticas. SIMA y otras instituciones de investigación esperan utilizar los videojuegos como campo de pruebas para comprender mejor cómo los sistemas de inteligencia artificial pueden ser más útiles.

Aprendiendo de los videojuegos

Para preparar y probar SIMA AI se trabajó con varios desarrolladores en nueve videojuegos diferentes. Para exponer SIMA a una variedad de entornos, se establecieron varias asociaciones con desarrolladores de juegos para realizar investigaciones. Los expertos trabajaron con ocho estudios de juegos para entrenar y probar SIMA en nueve videojuegos diferentes, incluidos No Man’s Sky de Hello Games y Teardown de Tuxedo Labs. Cada juego del portafolio de SIMA abre un nuevo mundo interactivo donde puedes aprender diferentes habilidades, desde navegación simple, uso de menús, extracción de recursos, pilotaje de una nave espacial o creación de un casco.

También se utilizaron cuatro entornos de exploración, incluido un nuevo entorno llamado Build Lab, desarrollado conjuntamente con Unity. Aquí, los agentes deben construir esculturas de bloques que pongan a prueba la manipulación de objetos y la comprensión intuitiva del mundo físico. SIMA aprende de diferentes mundos de juego y explica cómo se relaciona el lenguaje con el comportamiento del juego. 

Uno de los métodos fue filmar a un par de jugadores en cada juego del portafolio, con un jugador observando y entrenando al otro. También se le permitieron a los jugadores jugar libremente, luego se observó nuevamente lo que hacían y se registraron las instrucciones que condujeron a sus acciones de juego.

SIMA AI: un agente de IA versátil

SIMA AI es un agente de IA que puede percibir y comprender diferentes entornos y luego actuar para lograr objetivos específicos. Estos incluyen modelos para mapear con precisión imágenes y lenguaje, y modelos de video para predecir lo que sucederá a continuación en la pantalla. Se le realizaron mejoras a estos modelos utilizando datos de entrenamiento específicos de configuración 3D del portafolio SIMA AI.

Los agentes de IA no necesitan acceso al código fuente del juego ni a la API del usuario. Sólo requiere dos entradas: una imagen en la pantalla e instrucciones sencillas en lenguaje natural proporcionadas por el usuario. SIMA AI utiliza la salida del teclado y el mouse para controlar el personaje central del juego y ejecutar estos comandos. Esta sencilla interfaz es la que utiliza la gente, lo que permite a SIMA interactuar con cualquier entorno virtual.

La versión actual de SIMA evalúa 600 habilidades básicas, como la navegación (por ejemplo, «girar a la izquierda»), la interacción con objetos («subir escaleras») y el uso de menús («abrir mapa»). SIMA AI está entrenado para realizar tareas simples que se pueden completar en menos de 10 segundos.

¿Cómo funciona SIMA AI?

El SIMA AI evalúa 600 habilidades básicas, entre ellas navegación, interacción con objetos y uso de menús. Los agentes realizan tareas que requieran una planificación estratégica de alto nivel y múltiples subtareas, como «encontrar recursos y construir un campamento». Este es un objetivo importante de la IA en general. Porque si bien los modelos lingüísticos a gran escala crean sistemas poderosos para recopilar conocimiento sobre el mundo y hacer planes, actualmente carecen de la capacidad de actuar en nuestro nombre. 

Los corredores capacitados en múltiples juegos son mejores que los corredores capacitados en un solo juego. Nuestra evaluación muestra que los agentes de SIMA AI capacitados en un conjunto de nueve juegos 3D en la cartera superaron significativamente a todos los agentes profesionales capacitados en cada uno de estos juegos. 

Además, los agentes entrenados en todos los juegos menos uno se desempeñaron, en promedio, casi tan bien como los agentes entrenados específicamente en el juego invisible. Es importante destacar que esta capacidad de trabajar en un entorno completamente nuevo demuestra la capacidad de SIMA para generalizar más allá del aprendizaje. Estos son primeros resultados prometedores, pero se necesita más investigación para que SIMA funcione a nivel humano, tanto en juegos visibles como invisibles.

Los resultados también muestran que el rendimiento de SIMA depende del idioma. En ensayos controlados en los que el agente no tiene formación ni conocimientos de lenguaje, se comporta correctamente pero no sirve para nada. Por ejemplo, un policía puede reunir recursos, una acción conjunta, en lugar de ir a donde necesita ir. Como comparación principal, se utilizó el rendimiento de agentes SIMA específicos del entorno (capacitados y probados para seguir instrucciones en el mismo entorno). Comparamos este desempeño con tres tipos de agentes SIMA genéricos, cada uno de ellos capacitado en múltiples entornos.

Avances de la investigación sobre agentes de SIMA AI

Los resultados de SIMA demuestran el potencial para desarrollar una nueva ola de agentes de IA basados ​​en el lenguaje. Esta es una etapa inicial del estudio y se espera continuar implementando SIMA en más entornos de aprendizaje e incorporar muestras más competentes.

Cuanto más se introduzca SIMA en el mundo del aprendizaje, más común y completo esperamos que sea. Con modelos más avanzados, se espera mejorar la comprensión y la capacidad de SIMA para operar instrucciones en lenguaje de alto nivel para lograr objetivos complejos.