Fuera de la ventana es 2022. Conduces un coche autónomo, como de costumbre, por la ciudad. El coche se acerca a una señal de alto, por la que ha pasado muchas veces, pero esta vez no se detiene delante. Para ti, esta señal de pare es como las demás. Pero para un automóvil, es completamente diferente. Unos minutos antes, sin avisar a nadie, el atacante pegó una pequeña placa en el cartel, invisible al ojo humano, pero cuya tecnología no puede dejar de advertir. Es decir, una pequeña pegatina en la señal convirtió la señal de alto en algo completamente diferente a la señal de alto.
Todo esto puede parecer increíble. Pero un área de investigación creciente está demostrando que la inteligencia artificial puede ser engañada para hacer algo como esto si ve algún pequeño detalle que es completamente invisible para los humanos. A medida que los algoritmos de aprendizaje automático aparecen cada vez más en nuestras carreteras, nuestras finanzas, nuestro sistema de salud, los científicos informáticos esperan aprender más sobre cómo protegerlos de tales ataques, antes de que alguien realmente intente engañarlos.
"Esta es una preocupación creciente en la comunidad de aprendizaje automático e inteligencia artificial, especialmente porque estos algoritmos se utilizan cada vez más", dice Daniel Lode, profesor asistente en el Departamento de Ciencias de la Información y la Computación de la Universidad de Oregon. “Si el spam pasa o es bloqueado por varios correos electrónicos, este no es el fin del mundo. Pero si confía en un sistema de visión en un automóvil autónomo que le dice al automóvil cómo conducir sin chocar contra nada, lo que está en juego es mucho mayor ".
norte
Ya sea que la máquina se averíe o sea pirateada, los algoritmos de aprendizaje automático que "ven" el mundo sufrirán. Y así, para el auto, el panda parece un gibón y el autobús escolar parece un avestruz.
En un experimento, científicos de Francia y Suiza mostraron cómo tales perturbaciones podían hacer que una computadora confundiera una ardilla con un zorro gris y una cafetera con un loro.
¿Cómo es esto posible? Piense en cómo su hijo está aprendiendo a reconocer números. Al mirar los símbolos uno por uno, el niño comienza a notar algunas características comunes: algunos son más altos y más delgados, los seis y los nueves contienen un bucle grande, los ochos contienen dos, y así sucesivamente. Una vez que ven suficientes ejemplos, pueden reconocer rápidamente nuevos números como cuatro, ocho o trillizos, incluso si, gracias a la fuente o la escritura, no se ven exactamente como los otros cuatro, ochos o trillizos que hayan tenido. visto antes.
Los algoritmos de aprendizaje automático aprenden a leer el mundo a través de un proceso algo similar. Los científicos alimentan la computadora con cientos o miles de ejemplos (generalmente etiquetados) de lo que les gustaría encontrar en la computadora. Cuando la máquina examina los datos (esto es un número, esto no es, esto es un número, esto no es) comienza a notar las características que conducen a una respuesta. Pronto puede mirar la foto y decir: "¡Son cinco!" con alta precisión.
Video promocional:
Por lo tanto, tanto los niños humanos como las computadoras pueden aprender a reconocer una amplia gama de objetos, desde números hasta gatos, desde barcos hasta rostros humanos individuales.
Pero, a diferencia de un niño humano, una computadora no presta atención a detalles de alto nivel, como las orejas peludas de los gatos o la forma angular distintiva de los cuatro. No ve el cuadro completo.
En cambio, analiza los píxeles individuales de una imagen y es la forma más rápida de separar objetos. Si la inmensa mayoría de las unidades tienen un píxel negro en un punto determinado y algunos píxeles blancos en otros puntos, la máquina aprenderá muy rápidamente a determinarlos por unos pocos píxeles.
Ahora volvamos a la señal de pare. Al corregir imperceptiblemente los píxeles de la imagen (los expertos llaman a esta interferencia "perturbaciones"), puede engañar a la computadora para que piense que, de hecho, no hay señal de alto.
Estudios similares del Laboratorio de Inteligencia Artificial Evolutiva de la Universidad de Wyoming y la Universidad de Cornell han producido bastantes ilusiones ópticas para la inteligencia artificial. Estas imágenes psicodélicas de patrones y colores abstractos no se parecen a nada para los humanos, pero la computadora las reconoce rápidamente como serpientes o rifles. Esto sugiere cómo la IA puede mirar algo y no ver el objeto, o ver otra cosa en su lugar.
norte
Esta debilidad es común en todos los tipos de algoritmos de aprendizaje automático. “Uno esperaría que cada algoritmo tuviera un agujero en la armadura”, dice Yevgeny Vorobeichik, profesor asistente de informática y computación en la Universidad de Vanderbilt. “Vivimos en un mundo multidimensional muy complejo y los algoritmos, por su naturaleza, afectan solo a una pequeña parte de él”.
Sparrow está "extremadamente seguro" de que si existen estas vulnerabilidades, alguien descubrirá cómo explotarlas. Probablemente alguien ya haya hecho esto.
Considere los filtros de spam, programas automatizados que filtran cualquier correo electrónico incómodo. Los spammers pueden intentar sortear esta barrera cambiando la ortografía de las palabras (en lugar de Viagra - vi @ gra) o agregando una lista de "buenas palabras" que generalmente se encuentran en letras normales: como "aha", "me", "glad". Mientras tanto, los spammers pueden intentar eliminar las palabras que suelen aparecer en el spam, como "móvil" o "ganar".
¿A dónde pueden llegar los estafadores algún día? Un coche autónomo engañado por una pegatina de señal de alto es un escenario clásico ideado por expertos en la materia. Los datos adicionales pueden ayudar a que la pornografía pase a través de filtros seguros. Otros pueden intentar aumentar el número de controles. Los piratas informáticos pueden modificar el código de software malicioso para evadir la aplicación de la ley.
Los atacantes pueden descubrir cómo crear datos faltantes si obtienen una copia de un algoritmo de aprendizaje automático que quieren engañar. Pero no tiene por qué pasar por el algoritmo. Uno puede simplemente romperlo con fuerza bruta lanzando versiones ligeramente diferentes de correo electrónico o imágenes hasta que pasan. Con el tiempo, incluso podría usarse para un modelo completamente nuevo que sepa lo que buscan los buenos y qué datos producir para engañarlos.
"La gente ha estado manipulando los sistemas de aprendizaje automático desde que se introdujeron por primera vez", dice Patrick McDaniel, profesor de informática e ingeniería en la Universidad de Pennsylvania. "Si la gente usa estos métodos, es posible que ni siquiera lo sepamos".
Estos métodos pueden ser utilizados no solo por estafadores: las personas pueden esconderse de los ojos de rayos X de las tecnologías modernas.
"Si eres una especie de disidente político bajo un régimen represivo y quieres llevar a cabo eventos sin el conocimiento de las agencias de inteligencia, es posible que debas evitar los métodos de observación automática basados en el aprendizaje automático", dice Lode.
En un proyecto publicado en octubre, investigadores de la Universidad Carnegie Mellon crearon un par de anteojos que pueden engañar sutilmente al sistema de reconocimiento facial, haciendo que una computadora confunda a la actriz Reese Witherspoon con Russell Crowe. Suena ridículo, pero una tecnología así podría resultar útil para cualquiera que esté desesperado por evitar la censura de los que están en el poder.
¿Qué hacer con todo esto? “La única forma de evitar esto por completo es crear un modelo perfecto que siempre será correcto”, dice Lode. Incluso si pudiéramos crear una inteligencia artificial que supere a los humanos en todos los sentidos, el mundo aún puede deslizar un cerdo en un lugar inesperado.
Los algoritmos de aprendizaje automático generalmente se juzgan por su precisión. Un programa que reconoce sillas el 99% del tiempo será claramente mejor que uno que reconoce 6 sillas de 10. Pero algunos expertos sugieren otra forma de evaluar la capacidad del algoritmo para hacer frente a un ataque: cuanto más difícil, mejor.
Otra solución podría ser que los expertos puedan marcar el ritmo de los programas. Cree sus propios ejemplos de ataques en el laboratorio basándose en las capacidades de los delincuentes en su opinión y luego muéstrelos al algoritmo de aprendizaje automático. Esto puede ayudarlo a ser más resistente con el tiempo, siempre que, por supuesto, los ataques de prueba sean del tipo que se probará en el mundo real.
“Los sistemas de aprendizaje automático son una herramienta para pensar. Tenemos que ser razonables y racionales acerca de lo que les damos y nos dicen”, dijo McDaniel. "No deberíamos tratarlos como perfectos oráculos de la verdad".
ILYA KHEL
