Desmitificando la caja negra de la IA

Cuando Jason Matheny se unió a la Actividad de Proyectos de Investigación Avanzada de Inteligencia (IARPA) como gerente de programa en 2009, se acostumbró a conversar con los analistas de investigación de la organización. «¿Qué necesitas?», preguntaba, y la respuesta era siempre la misma: una forma de hacer predicciones más precisas. «¿Qué pasaría si les hiciéramos un modelo de computadora de IA que pudiera predecir eventos del mundo real como inestabilidad política, pruebas de armas y brotes de enfermedades?», preguntaría Massini. «¿Puedes usarlo?»

Los analistas respondieron con entusiasmo, excepto por una importante salvedad. «Todo se reduce a si pueden explicar el modelo a los formuladores de políticas, como el secretario de defensa», dijo Matheny, ahora director de IARPA. ¿Qué pasaría si los modelos de inteligencia artificial (IA) dijeran a los analistas de defensa que Corea del Norte se estaba preparando para bombardear Alaska? «No quieren estar en una posición en la que piensen que el sistema podría fallar, pero no están seguros de por qué o cómo», agregó.

Ese es el enigma de la IA hoy: las técnicas más poderosas, a saber, las redes neuronales profundas, son notoriamente opacas y ofrecen pocas pistas sobre cómo llegaron a sus conclusiones. Pero si los consumidores van a confiar su seguridad a los vehículos impulsados ​​por IA, o su salud a la atención médica asistida por IA, querrán saber cómo estos sistemas toman decisiones críticas. «[Deep neural nets] Pueden ser muy buenos, pero también pueden fallar de maneras misteriosas”, dijo Anders Sandberg, investigador principal del Instituto del Futuro de la Humanidad de la Universidad de Oxford. “La gente está empezando a darse cuenta de que no se puede confiar plenamente en el software. «

A medida que la inteligencia artificial comienza a transformar industrias enteras, incluidos el transporte, la medicina, la fabricación y la defensa, cada vez más investigadores toman medidas para abordar el problema. Todavía faltan varios años para una restauración integral, pero están surgiendo algunos planes prometedores. Algunos investigadores prueban los sistemas de IA, al igual que los científicos prueban ratones de laboratorio, modificando las entradas para ver cómo afectan el comportamiento con la esperanza de iluminar los procesos de toma de decisiones. Otros han intentado probar el comportamiento de las redes con redes adicionales o inventar nuevos lenguajes de programación para controlar mejor cómo aprenden estos sistemas. Estos enfoques pueden variar, pero su objetivo es el mismo: garantizar que nuestras máquinas no evolucionen demasiado más allá de nuestra capacidad para comprenderlas.

sintonia FINA

Lo que hace que las redes neuronales profundas de hoy en día sean poderosas y caprichosas es su capacidad para encontrar patrones en grandes cantidades de datos. Modelados libremente en el cerebro humano, estos complejos sistemas informáticos son el arma no tan secreta de la locura actual de la IA. Es por eso que los asistentes digitales como Siri de Apple y Alexa de Amazon son tan buenos para reconocer el habla y por qué la traducción de Google finalmente es comprensible. También permiten que las máquinas reconozcan imágenes, predigan enfermedades y derroten a humanos en programas de televisión de preguntas y respuestas. Peligro!y en progreso, posiblemente un juego más complejo que el ajedrez.

Las redes neuronales procesan la información pasándola a través de capas interconectadas, algo similar a los circuitos biológicos del cerebro. La primera capa de «neuronas» digitales, llamadas nodos, toma entradas sin procesar (como los píxeles en una foto de un gato), mezcla y califica esas entradas de acuerdo con reglas matemáticas simples y pasa la salida a la siguiente capa de nodos. Una red «profunda» consta de tres a cientos de capas, y la última capa destila toda esta actividad neuronal en una sola predicción: Esta es una foto de un gato.P.ej.

Si esta predicción es incorrecta, la red neuronal ajustará los enlaces entre los nodos para acercar el sistema al resultado correcto. Yann LeCun, director de investigación de inteligencia artificial en Facebook, compara la red de conexiones digitales con una caja con millones de perillas. Al ajustar una perilla para encontrar millones de ejemplos, la red neuronal crea un conjunto estructurado de relaciones, un modelo, que puede clasificar nuevas imágenes o realizar operaciones en condiciones que nunca antes había encontrado.

El proceso, llamado aprendizaje profundo, permite que las redes neuronales creen modelos de IA que son demasiado complejos o tediosos para codificarlos a mano. Estos modelos pueden ser muy complejos, con los parámetros más grandes acercándose a un billón (perillas). «Lo bueno del aprendizaje profundo es que no tienes que decirle al sistema qué buscar», dijo Joel Dudley, director de informática biomédica en la Escuela de Medicina Icahn en Mount Sinai en la ciudad de Nueva York. «Aquí hay millones de fotos de gatos. Tú descubres cómo es un gato».

Esta flexibilidad permite que las redes neuronales superen a otras formas de aprendizaje automático, que están limitadas por su relativa simplicidad, y en ocasiones incluso a los humanos. Por ejemplo, una red neuronal experimental en Mount Sinai llamada Deep Patient puede predecir si un paciente recibirá un diagnóstico en particular dentro del próximo año, llamando varios meses antes a un médico. Dudley y sus colegas entrenaron el sistema alimentándolo con 12 años de registros de salud electrónicos, incluidos los resultados de las pruebas y las visitas al hospital, de 700 000 pacientes. Los pacientes profundos luego identifican los signos ocultos de la enfermedad por sí mismos. «Demostramos que puede predecir 90 enfermedades diferentes con mucha precisión, desde la esquizofrenia hasta el cáncer y la diabetes, sin hablar con un experto», dijo Dudley.

subconsciente digital

Sin embargo, debido a que las redes neuronales son inherentemente autoprogramables, a menudo aprenden reglas arcanas que los humanos no pueden entender por completo. «Es difícil saber por qué [a neural net] Se tomó una decisión especial”, dijo Alan Winfield, especialista en ética de la robótica de la Universidad del Oeste de Inglaterra, Bristol. Cuando la red neuronal AlphaGo de Google se enfrentó al campeón de Go Lee Sedol en Seúl el año pasado, sus acciones atraparon a todos los que miraban Confused, incluso a Shishi. «Aún no podemos explicarlo”, dijo Winfield. Por supuesto, en teoría, podría profundizar en cada posición (es decir, cada parámetro) de cada perilla en el cerebro artificial de AlphaGo, pero incluso los programadores no obtienen mucho de estos números, porque su «significado» (lo que impulsa a una red neuronal a tomar una decisión) está codificado en los miles de millones de conexiones difusas entre nodos.

Muchos expertos encuentran preocupante esta opacidad. «No importa en el juego de Go, pero imagina el piloto automático de un automóvil sin conductor», dijo Winfield. «En el caso de un accidente grave, es inaceptable decirles a los investigadores o jueces ‘simplemente no entendemos por qué el auto hizo eso'». No es difícil imaginar otros escenarios problemáticos: drones no tripulados chocan contra escuelas; programas de evaluación de préstamos fail Negar proporcionalmente solicitudes de grupos minoritarios; sistemas como Deep Patient hacen diagnósticos plausibles. «Conseguir que un sistema muy complejo que no se comprende del todo funcione por sí solo es un problema profundo», dijo Sandberg.

Descubriendo la inteligencia artificial

Los investigadores están buscando múltiples opciones para encontrar soluciones. Un enfoque, llamado inducción del modelo, o el «enfoque del observador», trata a los sistemas de IA como cajas negras. «Experimentas con él y tratas de inferir su comportamiento», dijo David Gunning, quien administra el programa de Inteligencia Artificial Explicable de la Agencia de Proyectos de Investigación Avanzada de Defensa (DARPA). Por ejemplo, al esculpir la imagen de un gato y alimentar una red neuronal pieza por pieza, un programador puede tener una buena idea de qué partes (colas, patas, patrones de pelaje u otras cosas inesperadas) guían a la computadora a hacer una clasificación correcta.

Luego está el enfoque quirúrgico, «que nos permite comprender realmente el cerebro de los sistemas de inteligencia artificial», dijo Alan Fern, profesor de ingeniería eléctrica y ciencias de la computación en OSU, quien dirige uno de los 12 proyectos financiados por el programa Gunning. El truco consiste en dar sentido a lo que ve. «Una explicación honesta rastreará cada activación de cada nodo en la red», creando una pista de auditoría larga y compleja «completamente inexplicable para los humanos», dijo Fern. Para extraer explicaciones más significativas (aunque menos rigurosas), el equipo de Fern propone probar una red neuronal con una segunda. Esta «red explicativa» aprenderá qué actividad neuronal en el modelo original es más importante para tomar una decisión en particular.

La esperanza es crear un prototipo de red neuronal que ayude a crear transparencia para sistemas autónomos como drones o vehículos no tripulados. «No creo que tengamos plena confianza en ningún software», dijo Fern, «pero podemos hacer más para asegurarnos de que el sistema esté haciendo lo correcto por la razón correcta, en lugar de hacer algo loco».

Ese también es el objetivo de Bonsai, una startup que ha desarrollado un nuevo lenguaje de programación llamado Inkling para ayudar a las empresas a entrenar sus propios sistemas de aprendizaje profundo para resolver problemas organizacionales como la planificación urbana y la logística de la cadena de suministro. «Muchos de nuestros clientes tienen reservas acerca de dejar las decisiones en la caja negra», dijo el cofundador y director ejecutivo Mark Hammond. Bonsai está tratando de abrir la caja cambiando la forma en que aprenden las redes neuronales. Hammond señala que la mayoría de nosotros no aprendemos simplemente por ensayo y error como lo hacen hoy las redes neuronales. También hemos sido educados por padres, maestros, entrenadores y videos de YouTube. Por ejemplo, aprendemos a jugar béisbol, no balanceando el bate hasta que golpeamos una bola rápida, sino a través de la educación: se nos muestra cómo golpear una bola de waffle desde el tee, luego hacer un swing en un loft simple hasta que estemos listos para el verdadero pelota. asfalto. Hemos estado aprendiendo el lenguaje de los juegos: expliquemos qué estamos haciendo y por qué.

Dudley también está experimentando con formas de interpretar las predicciones de Deep Patient. Le preocupa menos la naturaleza de caja negra del sistema, siempre que genere modelos que puedan demostrarse seguros en ensayos clínicos. (Después de todo, dice, «muchos de los medicamentos que entregamos son cajas negras».) Aún así, siente curiosidad por la lógica detrás de Deep Patient, porque cree que podría ayudar a los médicos a comprender y tratar mejor la enfermedad.aunque el no sabe por qué Deep Patient hace un diagnóstico específico, puede encontrar grupos de pacientes con el mismo diagnóstico y calcular su similitud. El ejercicio ha descubierto algunos hallazgos sorprendentes, incluido un vínculo entre la diabetes y el Alzheimer que es anterior a Deep Patient. Por ejemplo, el medicamento para la diabetes metformina pareció proteger a ciertos tipos de pacientes del Alzheimer, una correlación que no era evidente cuando se usaban las estadísticas estándar.

mostrar y hablar

Sin embargo, a algunos expertos les preocupa que este esfuerzo parcial no sea suficiente para garantizar la confianza del público en los sistemas inteligentes. En 2016, la Unión Europea aprobó nuevas reglas de protección de datos, que entrarán en vigencia el próximo año, que incluyen derechos legales para interpretar las decisiones tomadas por algoritmos. Mientras tanto, un grupo de trabajo del IEEE (Instituto de Ingenieros Eléctricos y Electrónicos) está desarrollando estándares de la industria para ayudar a definir qué significa realmente «interpretación». «La transparencia no es lo mismo», dijo Winfield, quien dirige el grupo de trabajo. «Lo que los adultos mayores necesitan saber sobre los robots de enfermería es diferente de lo que necesitan saber los probadores de seguridad, o lo que los investigadores de accidentes, los abogados o el público necesitan saber».

A Sandberg, de la Universidad de Oxford, le gusta bromear diciendo que conoce el secreto de por qué Estados Unidos es una superpotencia. «Es porque tienen ‘muestra y cuenta’ en la escuela», dijo. La broma puede ser una broma, pero su moraleja es sincera: «Ser capaz de explicar las cosas te da fuerza», agregó.