La mayor lección que se puede aprender de 70 años de investigación en IA es que los métodos generales que utilizan la computación son, en última instancia, los más eficientes, y por un amplio margen. La razón última de esto es la Ley de Moore. O más bien, su generalización: la continua y exponencial reducción del coste de los procesadores informáticos. Esta "amarga lección" fue compartida por Richard Sutton, un informático canadiense. Además, desde la primera persona.
¿Por qué la investigación en inteligencia artificial ha estado estancada durante 70 años?
norte
La mayor parte de la investigación de IA se ha realizado como si los cálculos disponibles para el agente fueran persistentes (y en este caso, utilizar el conocimiento humano sería una de las únicas formas de mejorar el rendimiento). Pero con el tiempo, mucho más de lo que necesita un proyecto de investigación típico, inevitablemente, se dispone de mucha más computación. En busca de mejoras que puedan ayudar a corto plazo, los científicos están tratando de maximizar el conocimiento humano en esta área, pero lo único que importa a largo plazo es el uso cada vez mayor de la informática. Estos dos aspectos no deben contradecirse, pero en la práctica lo hacen. El tiempo dedicado a uno de ellos no es igual al tiempo dedicado al otro. Hay obligaciones psicológicas de invertir en un enfoque u otro. Y el enfoque del conocimiento humano tiende a complicar los métodos de tal manera que se vuelven menos adecuados para aprovechar los métodos generales que utilizan la computación.
Ha habido muchos ejemplos de investigadores de IA que han comprendido tardíamente esta amarga lección. Será instructivo considerar algunos de los ejemplos más destacados.
En el ajedrez informático, los métodos que derrotaron al campeón mundial Kasparov en 1997 se basaron en una búsqueda masiva y profunda. En ese momento, fueron vistos con consternación por la mayoría de los investigadores del ajedrez informático que utilizaron métodos basados en la comprensión humana de la estructura específica del ajedrez. Cuando un enfoque más simple y basado en búsquedas con hardware y software especializados demostró ser mucho más efectivo, los investigadores que se basan en la comprensión humana del ajedrez no admitieron la derrota. Dijeron: “Esta vez el enfoque de fuerza bruta puede haber ganado, pero no se convertirá en una estrategia general y ciertamente la gente no juega al ajedrez de esa manera. Estos científicos querían que ganaran los métodos basados en humanos y se sintieron muy decepcionados cuando no lo hicieron.
Video promocional:
Una imagen similar del progreso de la investigación se observó en la informática, solo que con un retraso de otros 20 años. Inicialmente, se hicieron grandes esfuerzos para evitar la búsqueda utilizando el conocimiento humano o el juego, pero todos estos esfuerzos fueron innecesarios o incluso peores una vez que la búsqueda se aplicó de manera efectiva y a gran escala. También era importante utilizar el aprendizaje en el proceso de juego independiente para aprender la función de valor (como fue el caso en muchos otros juegos e incluso en el ajedrez, solo el aprendizaje no jugó un papel importante en el programa en 1997, que venció al campeón mundial por primera vez). Aprender a jugar con uno mismo, aprender como un todo, es como una búsqueda que te permite aplicar enormes conjuntos de cálculos. La búsqueda y el aprendizaje son dos de las clases de técnicas más importantes que involucran enormes cantidades de computación en la investigación de la IA. En la computadora, vayaAl igual que en el ajedrez por computadora, los esfuerzos iniciales de los investigadores se dirigieron hacia el uso de la comprensión humana (de modo que hubo menos búsqueda), y se logró mucho más éxito solo mucho más tarde mediante el uso de la búsqueda y el aprendizaje.
En el campo del reconocimiento de voz, en la década de 1970 se celebró un concurso patrocinado por DARPA. Los participantes presentaron varios métodos que aprovecharon el conocimiento humano: el conocimiento de palabras o fonemas, el tracto vocal humano, etc. En el otro lado de las barricadas, había métodos más nuevos, de naturaleza estadística y que realizaban más cálculos, basados en modelos ocultos de Markov (HMM). Una vez más, los métodos estadísticos ganaron a los métodos basados en el conocimiento. Esto condujo a cambios importantes en todo el procesamiento del lenguaje natural que se introdujeron gradualmente a lo largo de las décadas, hasta que finalmente la estadística y la computación comenzaron a dominar el campo. El reciente aumento del aprendizaje profundo en el reconocimiento de voz es el último paso en esta dirección constante. El aprendizaje profundo se basa aún menos en el conocimiento humano y utiliza aún más computación, junto con el entrenamiento en grandes conjuntos de muestras, y produce asombrosos sistemas de reconocimiento de voz.
norte
Richard Sutton, informático canadiense.
Al igual que en los juegos, los científicos siempre han intentado crear sistemas que funcionen como imaginaban en sus cabezas, intentaron poner este conocimiento en sus sistemas, pero todo resultó extremadamente improductivo, los científicos solo estaban perdiendo el tiempo mientras, debido a la Ley de Moore, se dispuso de cálculos cada vez más masivos que encontraron excelentes aplicaciones.
Una imagen similar se dio en el campo de la visión por computadora. Los primeros métodos se percibieron como una búsqueda de ciertos contornos, cilindros generalizados o el uso de las capacidades de SIFT (transformación invariante de escala de características). Pero hoy todo esto se echó al horno. Las redes neuronales de aprendizaje profundo modernas solo usan el concepto de convolución y ciertas invariantes y funcionan mucho mejor.
Esta es una gran lección.
Dondequiera que miremos, seguimos cometiendo los mismos errores en todas partes. Para ver esto y lidiar con él de manera efectiva, debe comprender por qué estos errores son tan atractivos. Debemos aprender la amarga lección de que construir cómo pensamos a partir de cómo pensamos no funcionará a largo plazo. Una amarga lección basada en la observación histórica muestra que: 1) los investigadores de IA a menudo han tratado de incorporar conocimiento a sus agentes; 2) siempre ayudó a corto plazo y trajo satisfacción a los científicos; 3) pero a largo plazo, todo se paralizó y obstaculizó nuevos avances; 4) el progreso disruptivo vino inevitablemente con el enfoque opuesto, basado en escalar la computación a través de la búsqueda y el aprendizaje. El éxito tenía un sabor amargo y, a menudo, no se absorbía por completo.porque es el éxito de la informática, no el éxito de los enfoques centrados en el ser humano.
Una cosa que aprender de esta amarga lección es el tremendo poder de los métodos de propósito general, métodos que continúan escalando con el crecimiento de la computación incluso cuando la computación disponible se vuelve muy grande. Dos métodos que parecen escalar arbitrariamente de esta manera son buscar y aprender.
La segunda cosa que hay que aprender de esta amarga lección es que el contenido real de la mente es extrema e innecesariamente complejo; debemos dejar de intentar encontrar formas sencillas de dar sentido al contenido de la mente, similares a formas sencillas de dar sentido al espacio, los objetos, los agentes múltiples o las simetrías. Todos forman parte de un mundo externo arbitrariamente complejo. No deberíamos intentar construir sobre ellos, porque su complejidad es infinita; debemos construir sobre meta-métodos que puedan encontrar y capturar esta complejidad arbitraria. Estos métodos pueden encontrar buenas aproximaciones, pero la búsqueda de ellos debe ser realizada por nuestros métodos, no por nosotros. Necesitamos agentes de IA que puedan descubrir de la misma manera que nosotros, y no contener lo que hemos descubierto. Construir sobre nuestros descubrimientos solo complica el proceso de descubrimiento y búsqueda.
Ilya Khel
