Durante varios años en la década de 1980, los solicitantes de la Escuela de Medicina del Hospital St George's en Londres fueron seleccionados utilizando un método de alta tecnología. Un programa de computadora, uno de los primeros de su tipo, escaneó los currículums, seleccionando entre todas las solicitudes alrededor de 2,000 candidatos por año. El programa revisó los registros de admisión, examinó las características de los solicitantes seleccionados y los ajustó hasta que sus decisiones coincidieron con la opinión del comité de admisiones.
Sin embargo, el programa ha aprendido a encontrar más que buenas calificaciones y signos de rendimiento académico. Cuatro años después de la implementación del programa, dos médicos del hospital descubrieron que el programa tendía a rechazar a las mujeres solicitantes y a las personas con nombres no europeos, independientemente de su mérito académico. Los médicos descubrieron que a unos 60 solicitantes simplemente se les negaban entrevistas cada año debido a su género o raza. El programa incorporó los prejuicios raciales y de género en los datos utilizados para su formación; de hecho, descubrió que los médicos y los extranjeros no son los mejores candidatos para ser médicos.
Treinta años después, nos enfrentamos a un problema similar, pero los programas con sesgos intrínsecos ahora están más extendidos y toman decisiones con riesgos aún mayores. Los algoritmos de inteligencia artificial basados en el aprendizaje automático son utilizados por todo, desde agencias gubernamentales hasta atención médica, tomando decisiones y haciendo predicciones basadas en datos históricos. Al examinar los patrones en los datos, también absorben los sesgos en los datos. Google, por ejemplo, muestra más anuncios de trabajos mal pagados a mujeres que a hombres; El envío de un día de Amazon pasa por alto los vecindarios negros, y las cámaras digitales luchan por reconocer las caras que no son blancas.
norte
Es difícil saber si el algoritmo es imparcial o justo, e incluso los expertos en informática creen que sí. Una razón es que los detalles de la creación del algoritmo a menudo se consideran información patentada, por lo que los propietarios los guardan cuidadosamente. En casos más complejos, los algoritmos son tan complejos que incluso los creadores no saben exactamente cómo funcionan. Este es el problema de la llamada "caja negra" de la IA: nuestra incapacidad para ver el interior del algoritmo y comprender cómo llega a una solución. Si se deja encerrada, nuestra sociedad podría verse gravemente dañada: el entorno digital encarna la discriminación histórica que hemos luchado durante muchos años, desde la esclavitud y la servidumbre hasta la discriminación contra las mujeres.
Estas preocupaciones, expresadas anteriormente en pequeñas comunidades de ciencias de la computación, ahora están ganando impulso. En los últimos dos años, han aparecido bastantes publicaciones en esta área sobre la transparencia de la inteligencia artificial. Junto con esta conciencia, crece el sentido de responsabilidad. “¿Hay algo que no deberíamos estar construyendo?”, Pregunta Keith Crawford, investigador de Microsoft y cofundador de AI Now Insitute en Nueva York.
“El aprendizaje automático finalmente ha pasado a primer plano. Ahora estamos tratando de usarlo para cientos de tareas diferentes en el mundo real”, dice Rich Caruana, científico senior de Microsoft. “Es posible que las personas puedan implementar algoritmos maliciosos que afectarán significativamente a la sociedad a largo plazo. Ahora, parece que, de repente, todos se dieron cuenta de que este es un capítulo importante en nuestro campo.
Video promocional:
Algoritmo no autorizado
Hemos estado usando algoritmos durante mucho tiempo, pero el problema de la caja negra no tiene precedentes. Los primeros algoritmos fueron simples y transparentes. Todavía usamos muchos de ellos, por ejemplo, para evaluar la solvencia. Con cada nuevo uso, entra en juego la regulación.
"La gente ha estado usando algoritmos para evaluar la solvencia durante décadas, pero estas áreas han tenido algunos acuerdos bastante sólidos que han crecido en paralelo con el uso de algoritmos predictivos", dice Caruana. Las reglas regulatorias garantizan que los algoritmos predictivos brinden una explicación para cada puntaje: fue rechazado porque tiene mucho crédito o muy pocos ingresos.
En otras áreas, como el sistema legal y la publicidad, no existen reglas que prohíban el uso de algoritmos deliberadamente ilegibles. Es posible que no sepa por qué se le negó un préstamo o no le contrataron, porque nadie obliga al propietario del algoritmo a explicar cómo funciona. “Pero sabemos que debido a que los algoritmos se entrenan con datos del mundo real, tienen que estar sesgados, porque el mundo real está sesgado”, dice Caruana.
norte
Considere, por ejemplo, el lenguaje, una de las fuentes de sesgo más obvias. Cuando los algoritmos se entrenan a partir de texto escrito, forman algunas asociaciones entre palabras que aparecen juntas con más frecuencia. Por ejemplo, aprenden que "para un hombre ser programador de computadoras es lo mismo que para una mujer ser ama de casa". Cuando este algoritmo tiene la tarea de encontrar un currículum adecuado para un trabajo de programador, es probable que se seleccione entre los candidatos masculinos.
Problemas como estos son bastante fáciles de solucionar, pero muchas empresas simplemente no lo hacen. En cambio, ocultarán tales inconsistencias detrás de un escudo de información protegida. Sin acceso a los detalles del algoritmo, los expertos en muchos casos no podrán determinar si existe un sesgo o no.
Dado que estos algoritmos son secretos y quedan fuera de la jurisdicción de los reguladores, es casi imposible que los ciudadanos demanden a los creadores de los algoritmos. En 2016, el Tribunal Superior de Wisconsin rechazó la solicitud de una persona de revisar el funcionamiento interno de COMPAS. El hombre, Eric Loomis, fue sentenciado a seis años de prisión en parte porque COMPAS lo consideró "de alto riesgo". Loomis dice que su derecho al debido proceso ha sido violado por la dependencia del juez de un algoritmo opaco. La solicitud final a la Corte Suprema de EE. UU. Falló en junio de 2017.
Pero las empresas reservadas no disfrutarán de su libertad de forma indefinida. Para marzo, la UE aprobará leyes que requerirán que las empresas puedan explicar a los clientes interesados cómo funcionan sus algoritmos y cómo se toman las decisiones. Estados Unidos no tiene tal legislación en proceso.
Análisis forense de caja negra
Independientemente de si los reguladores se involucran en todo esto, un cambio cultural en cómo se diseñan y se implementan los algoritmos podría reducir la prevalencia de algoritmos sesgados. A medida que más y más empresas y programadores se comprometen a hacer que sus algoritmos sean transparentes y explicables, algunos esperan que las empresas que no lo hagan perderán su buena reputación ante el público.
El crecimiento de la potencia informática ha hecho posible la creación de algoritmos precisos y explicables, un desafío técnico que los desarrolladores históricamente no han podido superar. Investigaciones recientes sugieren que se pueden crear modelos explicables que predigan la recurrencia de criminales con tanta precisión como una caja negra de científicos forenses como COMPAS.
“Hemos terminado, sabemos cómo crear modelos sin cajas negras”, dice Cynthia Rudin, profesora asistente de ciencias de la computación e ingeniería eléctrica en la Universidad de Duke. “Pero no es tan fácil llamar la atención de la gente sobre este trabajo. Si las agencias gubernamentales dejaran de pagar por los modelos de caja negra, ayudaría. Si los jueces se niegan a usar modelos de caja negra para dictar sentencias, eso también ayudará”.
Otros están trabajando para encontrar formas de probar la validez de los algoritmos mediante la creación de un sistema de controles y equilibrios antes de que el algoritmo se lance al mundo, al igual que se prueba cada nuevo medicamento.
“Los modelos se están fabricando y desplegando ahora demasiado rápido. No existe una validación adecuada antes de que se publique el algoritmo”, dice Sarah Tan de la Universidad de Cornell.
Idealmente, los desarrolladores deberían dejar de lado los sesgos conocidos, como el género, la edad y la raza, y ejecutar simulaciones internas para probar sus algoritmos en busca de otros problemas.
Mientras tanto, antes de llegar al punto en el que todos los algoritmos se probarán a fondo antes del lanzamiento, ya es posible determinar cuáles sufrirán sesgos.
En su trabajo más reciente, Tan, Caruana y sus colegas describieron una nueva forma de comprender lo que podría estar sucediendo bajo el capó de los algoritmos de caja negra. Los científicos han creado un modelo que imita el algoritmo de caja negra, aprendiendo a estimar el riesgo de reincidencia utilizando datos COMPAS. También crearon otro modelo que se entrenó con datos del mundo real para mostrar si la reincidencia prevista realmente ocurrió. La comparación de los dos modelos permitió a los científicos evaluar la precisión de la puntuación prevista sin analizar el algoritmo. Las diferencias en los resultados de los dos modelos pueden indicar qué variables, como la raza o la edad, pueden ser más importantes en un modelo en particular. Sus resultados mostraron que COMPAS está discriminando a las personas negras.
Los algoritmos bien diseñados pueden eliminar los prejuicios de larga data en la justicia penal, la policía y muchas otras áreas de la sociedad.
Ilya Khel
