Durante los últimos 10 años, gracias al llamado método de aprendizaje profundo, hemos recibido los mejores sistemas de inteligencia artificial, por ejemplo, reconocedores de voz en teléfonos inteligentes o el último traductor automático de Google. El aprendizaje profundo, de hecho, se ha convertido en una nueva tendencia en las ya famosas redes neuronales que han estado de moda y saliendo durante más de 70 años. Las redes neuronales fueron propuestas por primera vez por Warren McCullough y Walter Pitts en 1994, dos investigadores de la Universidad de Chicago. En 1952, empezaron a trabajar en el Instituto de Tecnología de Massachusetts para sentar las bases del primer Departamento de Cognición.
Las redes neuronales fueron una de las principales líneas de investigación tanto en neurociencia como en informática hasta 1969, cuando, según la leyenda, fueron asesinadas por los matemáticos del MIT Marvin Minsky y Seymour Papert, quienes un año después se convirtieron en codirectores del nuevo laboratorio de inteligencia artificial del MIT.
Este método experimentó un resurgimiento en la década de 1980, se desvaneció ligeramente en las sombras en la primera década del nuevo siglo y regresó con fanfarria en la segunda, en la cima del increíble desarrollo de los chips gráficos y su potencia de procesamiento.
"Existe la percepción de que las ideas científicas son como epidemias de virus", dice Tomaso Poggio, profesor de cognición y ciencias del cerebro en el MIT. “Probablemente hay cinco o seis cepas principales de virus de la influenza, y una de ellas regresa a un ritmo envidiable de 25 años. Las personas se infectan, adquieren inmunidad y no se enferman durante los próximos 25 años. Entonces aparece una nueva generación, lista para ser infectada con la misma cepa de virus. En ciencia, la gente se enamora de una idea, enloquece a todo el mundo, luego la golpean hasta la muerte y adquieren inmunidad ante ella, se cansan de ella. Las ideas deben tener una frecuencia similar ".
norte
Preguntas importantes
Las redes neuronales son un método de aprendizaje automático en el que una computadora aprende a realizar ciertas tareas mediante el análisis de ejemplos de entrenamiento. Normalmente, estos ejemplos se etiquetan manualmente de antemano. Un sistema de reconocimiento de objetos, por ejemplo, puede absorber miles de imágenes etiquetadas de automóviles, casas, tazas de café, etc., y luego poder encontrar patrones visuales en esas imágenes que se correlacionan constantemente con ciertas etiquetas.
Una red neuronal a menudo se compara con el cerebro humano, que también tiene tales redes, que consta de miles o millones de nodos de procesamiento simples, que están estrechamente interconectados. La mayoría de las redes neuronales modernas están organizadas en capas de nodos y los datos fluyen a través de ellas en una sola dirección. Un nodo individual se puede asociar con varios nodos en la capa debajo de él, desde el cual recibe datos, y con varios nodos en la capa superior, a los que transmite datos.
Video promocional:
El nodo asigna un número a cada uno de estos enlaces entrantes: "peso". Cuando la red está activa, el nodo recibe diferentes conjuntos de datos (números diferentes) para cada una de estas conexiones y los multiplica por el peso apropiado. Luego suma los resultados para formar un solo número. Si este número está por debajo del umbral, el nodo no transmite datos a la siguiente capa. Si el número excede el umbral, el nodo se "despierta" enviando el número, la suma de los datos de entrada ponderados, a todas las conexiones salientes.
Cuando se entrena una red neuronal, todos sus pesos y umbrales se establecen inicialmente en orden aleatorio. Los datos de entrenamiento se introducen en la capa inferior, la capa de entrada, y pasan por capas posteriores, multiplicándose y agregando de manera compleja, hasta llegar finalmente, ya transformado, a la capa de salida. Durante el entrenamiento, los pesos y los umbrales se ajustan continuamente hasta que los datos de entrenamiento con las mismas etiquetas producen conclusiones similares.
Mente y máquinas
Las redes neuronales descritas por McCullough y Pitts en 1944 tenían tanto umbrales como pesos, pero no estaban organizadas en capas, y los científicos no especificaron ningún mecanismo de aprendizaje específico. Pero McCullough y Pitts demostraron que una red neuronal podría, en principio, calcular cualquier función, como cualquier computadora digital. El resultado provenía más del campo de la neurociencia que de la informática: había que suponer que el cerebro humano podía verse como un dispositivo informático.
Las redes neuronales continúan siendo una herramienta valiosa para la investigación neurobiológica. Por ejemplo, las capas individuales de la red o las reglas para ajustar pesos y umbrales reproducían las características observadas de la neuroanatomía humana y las funciones cognitivas y, por lo tanto, afectaban la forma en que el cerebro procesa la información.
norte
La primera red neuronal entrenable, el Perceptron (o Perceptron), fue demostrada por el psicólogo Frank Rosenblatt de la Universidad de Cornell en 1957. El diseño de Perceptron era similar a una red neuronal moderna, excepto que tenía una sola capa con pesos y umbrales ajustables intercalados entre las capas de entrada y salida.
Los "perceptrones" se investigaron activamente en psicología e informática hasta 1959, cuando Minsky y Papert publicaron un libro llamado "Perceptrones", que mostraba que hacer cálculos bastante convencionales sobre perceptrones no era práctico en términos de tiempo.
"Por supuesto, todas las limitaciones desaparecen si haces que las máquinas sean un poco más complejas," por ejemplo, en dos capas ", dice Poggio. Pero en ese momento, el libro tuvo un efecto escalofriante en la investigación de redes neuronales.
“Vale la pena considerar estas cosas en un contexto histórico”, dice Poggio. “La prueba fue construida para programar en lenguajes como Lisp. No mucho antes de eso, la gente estaba usando silenciosamente computadoras analógicas. No estaba del todo claro en ese momento a qué conduciría la programación. Creo que se exageraron un poco, pero, como siempre, no se puede dividir todo en blanco y negro. Si lo considera una competencia entre la informática analógica y la informática digital, entonces estaban luchando por lo que se necesitaba.
Periodicidad
Sin embargo, en la década de 1980, los científicos habían desarrollado algoritmos para modificar los pesos y umbrales de las redes neuronales que eran lo suficientemente eficientes para redes con más de una capa, eliminando muchas de las limitaciones identificadas por Minsky y Papert. Esta zona ha experimentado un Renacimiento.
Pero desde un punto de vista razonable, algo faltaba en las redes neuronales. Una sesión de entrenamiento lo suficientemente larga podría conducir a una revisión de la configuración de la red hasta que comience a clasificar los datos de una manera útil, pero ¿qué significan estas configuraciones? ¿Qué características de la imagen observa el reconocedor de objetos y cómo las une para formar las firmas visuales de automóviles, casas y tazas de café? Un estudio de los pesos de compuestos individuales no responderá a esta pregunta.
En los últimos años, los científicos informáticos han comenzado a idear métodos ingeniosos para determinar las estrategias analíticas adoptadas por las redes neuronales. Pero en la década de 1980, las estrategias de estas redes eran incomprensibles. Por lo tanto, en el cambio de siglo, las redes neuronales fueron reemplazadas por máquinas vectoriales, un enfoque alternativo al aprendizaje automático basado en matemáticas puras y elegantes.
El reciente aumento del interés en las redes neuronales, la revolución del aprendizaje profundo, se debe a la industria del juego. Los gráficos complejos y el ritmo rápido de los videojuegos modernos requieren un hardware que pueda mantenerse al día con la tendencia, lo que da como resultado una GPU (unidad de procesamiento de gráficos) con miles de núcleos de procesamiento relativamente simples en un solo chip. Los científicos pronto se dieron cuenta de que la arquitectura de la GPU era perfecta para las redes neuronales.
Las GPU modernas hicieron posible construir redes de la década de 1960 y redes de dos y tres capas de la década de 1980 en ramos de redes de 10, 15 e incluso 50 capas de la actualidad. De esto es de lo que es responsable la palabra "profundo" en el "aprendizaje profundo". A la profundidad de la red. El aprendizaje profundo es actualmente responsable de los sistemas más eficientes en casi todas las áreas de investigación de inteligencia artificial.
Bajo el capó
La opacidad de la red todavía preocupa a los teóricos, pero hay avances en este frente. Poggio dirige un programa de investigación sobre los fundamentos teóricos de la inteligencia. Recientemente, Poggio y sus colegas publicaron un estudio teórico de las redes neuronales en tres partes.
La primera parte, que se publicó el mes pasado en la Revista Internacional de Automatización y Computación, aborda la gama de cálculos que pueden realizar las redes de aprendizaje profundo y cuándo las redes profundas aprovechan las poco profundas. Las partes dos y tres, que se publicaron como conferencias, abordan los desafíos de la optimización global, es decir, garantizar que la red encuentre la configuración que mejor se ajuste a sus datos de entrenamiento y cuando la red comprenda tan bien los detalles específicos de sus datos de entrenamiento. que no puede generalizar otras manifestaciones de las mismas categorías.
Aún quedan muchas preguntas teóricas por delante, cuyas respuestas habrá que dar. Pero existe la esperanza de que las redes neuronales finalmente puedan romper el ciclo de generaciones que las sumergen en el calor y, a veces, en el frío.
ILYA KHEL
