Por qué necesitamos profundizar en la caja negra de la IA
El siguiente artículo se reproduce con permiso de The Conversation, una publicación en línea que cubre las últimas investigaciones.
Para algunos, el término «caja negra» evoca imágenes de dispositivos de grabación en aviones que son valiosos para el análisis post mortem en caso de que ocurra lo impensable. Para otros, evoca imágenes de teatros pequeños y mínimamente equipados. Pero caja negra también es un término importante en el campo de la inteligencia artificial.
Una caja negra de IA es un sistema de IA cuyo funcionamiento interno es invisible para el usuario. Puede darles entrada y obtener salida, pero no puede inspeccionar el código del sistema o la lógica que produjo la salida.
El aprendizaje automático es un subconjunto importante de la inteligencia artificial. Es la base de los sistemas de IA generativa como ChatGPT y DALL-E 2. El aprendizaje automático consta de tres componentes: un algoritmo o conjunto de algoritmos, datos de entrenamiento y un modelo. Un algoritmo es un conjunto de procedimientos. En el aprendizaje automático, un algoritmo aprende a reconocer patrones después de haber sido entrenado en una gran cantidad de ejemplos (datos de entrenamiento). Una vez que se entrena un algoritmo de aprendizaje automático, el resultado es un modelo de aprendizaje automático. Los modelos son lo que la gente usa.
Por ejemplo, se podría diseñar un algoritmo de aprendizaje automático para reconocer patrones en imágenes y los datos de entrenamiento podrían ser imágenes de perros. El modelo de aprendizaje automático resultante será un perro observador. Le das una imagen como entrada y como salida un conjunto de píxeles en la imagen que representan la posición y la posición del perro.
Cualquiera de los tres componentes de un sistema de aprendizaje automático se puede ocultar o colocar en una caja negra. A menudo, el algoritmo es bien conocido, lo que hace que sea menos eficiente ponerlo en una caja negra. Por lo tanto, para proteger su propiedad intelectual, los desarrolladores de IA a menudo colocan modelos en cajas negras. Otro enfoque adoptado por los desarrolladores de software es ocultar los datos utilizados para entrenar los modelos; en otras palabras, colocar los datos de entrenamiento en una caja negra.
Lo opuesto a una caja negra a veces se llama caja de vidrio. Una caja de vidrio de IA es un sistema cuyos algoritmos, datos de entrenamiento y modelos están disponibles para que cualquiera los vea. Pero los investigadores a veces incluso describen estos aspectos como cajas negras.
Esto se debe a que los investigadores no entienden completamente cómo funcionan los algoritmos de aprendizaje automático, especialmente los algoritmos de aprendizaje profundo. El campo de la IA explicable está trabajando para desarrollar algoritmos que, aunque no necesariamente cajas de cristal, puedan ser mejor entendidos por los humanos.
Por qué son importantes las cajas negras de IA
En muchos casos, hay buenas razones para desconfiar de los algoritmos y modelos de aprendizaje automático de caja negra. Supongamos que un modelo de aprendizaje automático hace un diagnóstico de su salud. ¿Te gustaría que tu modelo fuera una caja negra o una caja de cristal? ¿Qué hay del médico que prescribe su curso? Tal vez quiera saber cómo la modelo toma sus decisiones.
¿Qué sucede si el modelo de aprendizaje automático que determinó su elegibilidad para un préstamo comercial de un banco lo rechazó? ¿No quieres saber por qué? Si lo hace, puede apelar la decisión de manera más efectiva o cambiar sus circunstancias para aumentar sus posibilidades de obtener un préstamo la próxima vez.
Las cajas negras también tienen un impacto importante en la seguridad del sistema de software. Durante años, muchos en la informática creyeron que mantener el software en una caja negra evitaba que los piratas informáticos lo examinaran y, por lo tanto, era seguro. Se ha demostrado que esa suposición es errónea en gran medida porque los piratas informáticos pueden realizar ingeniería inversa del software, es decir, crear réplicas observando de cerca cómo funciona, y descubrir vulnerabilidades explotables.
Si el software está en una caja de cristal, los probadores de software y los piratas informáticos bien intencionados pueden examinarlo e informar al creador de las debilidades, minimizando así los ataques cibernéticos.
Este artículo fue publicado originalmente en The Conversation. Lea el texto original.
