La IA supera a los campeones humanos en el videojuego Gran Turismo
Para girar a toda velocidad en una esquina a lo largo de la «línea de carrera» más rápida sin perder el control, los conductores de autos de carrera deben frenar, girar y acelerar en secuencias cronometradas con precisión. El proceso depende de los límites de fricción y se rigen por leyes físicas conocidas, lo que significa que los autos autónomos pueden aprender a completar una vuelta a la mayor velocidad posible (como algunos ya lo han hecho). Pero esto se vuelve un problema mucho más complicado cuando el conductor automático tiene que compartir espacio con otros autos. Ahora, los científicos han resuelto el desafío virtualmente al entrenar un programa de inteligencia artificial para superar a los competidores humanos en el juego de carreras ultrarrealista Gran Turismo Sport. Los hallazgos podrían orientar a los investigadores de automóviles autónomos hacia nuevas formas de hacer que esta tecnología funcione en el mundo real.
La inteligencia artificial ya ha conquistado a los jugadores humanos en ciertos videojuegos, como Starcraft II y Dota 2. Pero Gran Turismo se diferencia de otros juegos de manera significativa, dice Peter Wurman, director de Sony AI America y coautor del nuevo estudio, que fue publicado en Naturaleza. “En la mayoría de los juegos, el entorno define las reglas y protege a los usuarios unos de otros”, explica. “Pero en las carreras, los autos están muy cerca uno del otro, y hay un sentido de la etiqueta muy refinado que debe ser aprendido y desplegado por el [AI] agentes Para ganar, deben ser respetuosos con sus oponentes, pero también deben preservar sus propias líneas de conducción y asegurarse de que no ceden el paso”.
Para enseñar a su programa las cuerdas, los investigadores de Sony AI utilizaron una técnica llamada aprendizaje de refuerzo profundo. Recompensaron a la IA por ciertos comportamientos, como permanecer en la pista, mantener el control del vehículo y respetar la etiqueta de carrera. Luego dieron rienda suelta al programa para probar diferentes formas de competir que le permitirían lograr esos objetivos. El equipo de IA de Sony entrenó varias versiones diferentes de su IA, denominada Gran Turismo Sophy (GT Sophy), cada una especializada en conducir un tipo de automóvil en particular en una pista en particular. Luego, los investigadores compararon el programa con los campeones humanos de Gran Turismo. En la primera prueba, realizada en julio pasado, los humanos lograron la puntuación general más alta del equipo. En la segunda ejecución en octubre de 2023, la IA se abrió paso. Venció a sus enemigos humanos tanto individualmente como en equipo, logrando los tiempos de vuelta más rápidos.
Los jugadores humanos parecen haber tomado sus pérdidas con calma, y algunos disfrutaron enfrentando su ingenio contra la IA. “Algunas de las cosas que también escuchamos de los conductores fue que también aprendieron cosas nuevas de las maniobras de Sophy”, dice Erica Kato Marcus, directora de estrategias y asociaciones de Sony AI. “Las líneas que usaba la IA eran tan complicadas que probablemente podría hacerlas una vez. Pero fue tan, tan difícil, nunca lo intentaría en una carrera”, dice Emily Jones, quien fue finalista mundial en el FIA-Certified Gran Turismo Championships 2023 y luego compitió contra GT Sophy. Aunque Jones dice que competir con la IA la hizo sentir un poco impotente, describe la experiencia como impresionante.
“Las carreras, como muchos deportes, se trata de acercarse lo más posible a la vuelta perfecta, pero en realidad nunca puedes llegar allí”, dice Jones. “Con Sophy, fue una locura ver algo que era el Perfecto vuelta. No había forma de ir más rápido”.
El equipo de Sony ahora está desarrollando aún más la IA. “Entrenamos a un agente, una versión de GT Sophy, para cada combinación de auto y pista”, dice Wurman. “Y una de las cosas que estamos viendo es: ¿Podemos entrenar una sola política que pueda ejecutarse en cualquier automóvil en cualquiera de las pistas del juego?” En el aspecto comercial, Sony AI también está trabajando con el desarrollador de Gran Turismo, Polyphony Digital, subsidiaria de Sony Interactive Entertainment, para incorporar potencialmente una versión de GT Sophy en una futura actualización del juego. Para hacer esto, los investigadores necesitarían modificar el rendimiento de la IA para que pueda ser un oponente desafiante pero no invencible, incluso para jugadores menos hábiles que los campeones que han probado la IA hasta ahora.
Debido a que Gran Turismo brinda una aproximación realista de autos específicos y pistas específicas, y de los parámetros físicos únicos que gobiernan cada uno, esta investigación también podría tener aplicaciones fuera de los videojuegos. «Creo que una de las piezas interesantes, que lo diferencia del juego Dota, es estar en un entorno basado en la física», dice Brooke Chan, ingeniera de software de la empresa de investigación de inteligencia artificial OpenAI y coautora del Proyecto OpenAI Five, que venció a los humanos en Dota 2. «No está en el mundo real, pero aún puede emular las características del mundo real, de modo que estamos entrenando a la IA para que comprenda un poco más el mundo físico». (Chan no participó en el estudio de GT Sophy).
«Gran Turismo es un simulador muy bueno: está gamificado de varias maneras, pero realmente representa fielmente muchas de las diferencias que obtendrías con autos diferentes y pistas diferentes», dice J. Christian Gerdes, profesor de Stanford University. ingeniería mecánica, que no participó en el nuevo estudio. «Esto es, en mi opinión, lo más parecido que hay a alguien que publique un artículo que diga que la IA puede enfrentarse cara a cara con los humanos en un entorno de carreras».
Sin embargo, no todos están completamente de acuerdo. “En el mundo real, tienes que lidiar con cosas como ciclistas, peatones, animales, cosas que se caen de camiones y caen en la carretera que tienes que poder evitar, mal clima, averías de vehículos, cosas así”, dice Steven Shladover, ingeniero investigador del programa California Partners for Advanced Transportation Technology (California PATH) del Instituto de Estudios de Transporte de la Universidad de California, Berkeley, que tampoco participó en el Naturaleza papel. “Nada de eso aparece en el mundo de los videojuegos”.
Pero Gerdes dice que el éxito de GT Sophy aún puede ser útil porque cambia ciertas suposiciones sobre la forma en que deben programarse los autos sin conductor. Un vehículo automatizado puede tomar decisiones basadas en las leyes de la física o en su entrenamiento de IA. «Si observa lo que hay en la literatura y, hasta cierto punto, lo que la gente está poniendo en el camino, los planificadores de movimiento tenderán a estar basados en la física en la optimización, y las partes de percepción y predicción serán IA». dice Gerdes. Sin embargo, con GT Sophy, la planificación de movimiento de la IA (como decidir cómo acercarse a una curva en el límite superior de su rendimiento sin causar un choque) se basó en el lado de la fórmula de la IA. “Creo que la lección para los desarrolladores de automóviles automatizados es: hay un punto de datos aquí que tal vez algunas de nuestras nociones preconcebidas, que ciertas partes de este problema se resuelven mejor en física, deben revisarse”, dice. «La IA también podría jugar allí».
Gerdes también sugiere que el logro de GT Sophy podría tener lecciones para otros campos en los que interactúan los humanos y los sistemas automatizados. En Gran Turismo, señala, la IA debe equilibrar el difícil problema de lograr la ruta más rápida alrededor de la pista con el difícil problema de interactuar sin problemas con humanos a menudo impredecibles. “Si tenemos un sistema de inteligencia artificial que pueda tomar algunas decisiones sofisticadas en ese entorno, eso podría tener aplicabilidad, no solo para la conducción automatizada”, dice Gerdes, “sino también para interacciones como cirugía asistida por robot o máquinas que ayudan en el hogar. . Si tiene una tarea en la que un humano y un robot trabajan juntos para mover algo, eso es, en cierto modo, mucho más complicado que el robot tratando de hacerlo solo”.
Se adaptó una versión de este artículo con el título «Campeones de la IA» para su inclusión en la edición de mayo de 2023 de Científico americano.
