La división de inteligencia artificial de Google anunció la creación de un nuevo método para entrenar redes neuronales, combinando el uso de algoritmos avanzados y videojuegos antiguos. Los videojuegos antiguos de Atari se utilizan como entorno de aprendizaje.
Los desarrolladores de DeepMind (recordemos que estas personas crearon la red neuronal AlphaGo, que en repetidas ocasiones ha derrotado a los mejores jugadores en el juego de lógica del go) creen que las máquinas pueden aprender de la misma forma que los humanos. Usando el sistema de entrenamiento DMLab-30 basado en el shooter Quake III y los juegos de arcade Atari (se utilizan 57 juegos diferentes), los ingenieros desarrollaron un nuevo algoritmo de aprendizaje automático IMPALA (Importance Weighted Actor-Learner Architectures). Permite que las partes individuales aprendan a realizar varias tareas a la vez y luego intercambien conocimientos entre ellas.
En muchos sentidos, el nuevo sistema se basó en el anterior sistema de arquitectura Asynchronous Actor-Critic Agents (A3C), en el que los agentes individuales investigan el entorno, luego se detiene el proceso e intercambian conocimientos con el componente central, el "estudiante". En cuanto a IMPALA, puede tener más agentes y el proceso de aprendizaje en sí se desarrolla de una manera ligeramente diferente. En él, los agentes envían información a dos "estudiantes" a la vez, quienes luego también intercambian datos entre ellos. Además, si en A3C el cálculo del gradiente de la función de pérdida (es decir, la discrepancia entre los valores de los parámetros predichos y obtenidos) lo hacen los propios agentes, quienes envían información al núcleo central, entonces en el sistema IMPALA esta tarea la realizan los "estudiantes".
norte
Un ejemplo de una persona que juega a través del juego:
Así es como el sistema IMPALA maneja la misma tarea:
Uno de los principales desafíos en el desarrollo de la IA es el tiempo y la necesidad de una alta potencia informática. Incluso cuando son autónomas, las máquinas necesitan reglas que puedan seguir en sus propios experimentos y encontrar formas de resolver problemas. Dado que no podemos simplemente construir robots y dejar que aprendan, los desarrolladores usan simulaciones y técnicas de aprendizaje profundo.
Para que las redes neuronales modernas aprendan algo, deben procesar una gran cantidad de información, en este caso miles de millones de fotogramas. Y cuanto más rápido lo hacen, menos tiempo se tarda en aprender.
Video promocional:
Con suficientes procesadores, DeepMind dice que IMPALA logra 250,000 cuadros por segundo, o 21 mil millones de cuadros por día. Este es un récord absoluto para tareas de este tipo, según The Next Web. Los propios desarrolladores comentan que su sistema de IA hace frente a la tarea mejor que máquinas y personas similares.
En el futuro, se pueden utilizar algoritmos de IA similares en robótica. Al optimizar los sistemas de aprendizaje automático, los robots se adaptarán a su entorno más rápido y trabajarán de manera más eficiente.
Nikolay Khizhnyak
