AI tiene algunas explicaciones que hacer

¿Se puede confiar en la inteligencia artificial? ¿Debería aceptar sin cuestionar que sus hallazgos son objetivamente válidos?

El problema es que, incluso si quisiera cuestionar la IA, sus preguntas no arrojarán respuestas definitivas.

Los sistemas de IA a menudo funcionan como cajas negras: entran datos, salen datos, pero el proceso de transformación de esos datos es un misterio. Esto crea un doble problema.

Por un lado, no está claro qué algoritmo funcionará de manera más confiable. En segundo lugar, los resultados aparentemente objetivos de la IA pueden estar influenciados por los valores y sesgos de los programadores de sistemas.

Es por eso que existe la necesidad de una «IA explicable», que se refiere a la transparencia de los procesos de pensamiento virtual utilizados por dichos sistemas.

problema de la caja negra

La forma en que AI analiza la información y hace recomendaciones no siempre es sencilla. También existe una evidente desconexión entre cómo funciona la IA y cómo la entiende la mayoría de la gente.

Esto hace que su interpretación sea una tarea difícil. Como señaló McKinsey en un artículo reciente sobre IA explicable:

«Las técnicas de modelado que impulsan muchas aplicaciones de IA en la actualidad, como el aprendizaje profundo y las redes neuronales, son intrínsecamente más difíciles de entender para los humanos. A pesar de toda la información predictiva que la IA puede proporcionar, los motores de aprendizaje automático avanzado a menudo siguen siendo una caja negra».

La necesidad de hacer que la IA sea explicable requiere desentrañar el proceso y luego traducirlo en términos que la gente pueda entender. Ya no es aceptable decirle a la gente que tiene que tratar la salida de IA como infalible. (Lea también: La IA explicable no es suficiente; necesitamos una IA comprensible.)

falibles como los humanos

«En principio, no es infalible: su rendimiento es tan bueno como los datos que usa y las personas que los crean», dijo Natalie Cramp, directora ejecutiva de la consultora de ciencia de datos Profusion, a Silicon Republic en una entrevista.

Los expertos en el campo que entienden el impacto que las decisiones algorítmicas pueden tener en la vida de las personas han hablado sobre el tema durante años. Dado que los humanos son los que construyen sistemas de aprendizaje para la IA, sus sesgos se refuerzan en la programación de algoritmos y las conclusiones.

Las personas a menudo desconocen sus propios sesgos, o incluso cómo las muestras de datos pueden contribuir a resultados racistas y sexistas. Este es el caso del sistema de calificación automatizado de Amazon para los solicitantes de empleo.

A medida que los hombres dominan la industria tecnológica, un algoritmo ha aprendido a asociar el género con resultados exitosos y está sesgado contra las mujeres. Aunque Amazon abandonó la tecnología en 2018, el problema del sesgo manifestado en la IA seguirá existiendo en 2023.

Salida de IA sesgada

“Todas las organizaciones tienen datos sesgados”, proclama fascinantemente un blog de IBM titulado “Cómo el Titanic nos ayudó a pensar en la IA explicable”.

Eso se debe a que muchas personas operan de la misma manera: tomando una muestra de la mayoría para representar el todo. Si bien de alguna manera hemos reducido en gran medida los estereotipos relacionados con el género y la raza, un estudio de Tidio descubrió que los niveles de iluminación evitan algunas tecnologías avanzadas. (Lea también: ¿Está sesgada la inteligencia artificial?)

En el estudio de Tidio, la brecha entre la distribución de género en la vida real y la representación proporcionada por la IA era marcada. Por ejemplo, la IA a la que se le pidió que generara una imagen de un CEO no generó una sola imagen de una mujer, cuando de hecho alrededor del 15% de los CEO son mujeres. Asimismo, los programas de IA subrepresentan a las personas de color en la mayoría de los puestos.

Como en el caso del algoritmo de Amazon, aquí la IA se quedó atascada en el lugar equivocado con respecto a los roles femeninos, asumiendo que no estaban en la categoría de CEO, solo porque eran una minoría allí. Donde las mujeres en realidad constituyen la mitad, en la categoría de médicos, la IA es solo el 11 por ciento. La IA también ignoró el hecho de que el 14% de las enfermeras son hombres, mostrando solo imágenes de mujeres, recurriendo al estereotipo de las enfermeras.

¿Qué hay de ChatGPT?

En los últimos meses, el mundo se ha obsesionado con Chat GPT de OpenAI, que puede proporcionar de todo, desde cartas de presentación hasta código de programación. Pero Bloomberg advierte que también es vulnerable al sesgo a través de la programación. (Lea también: ¿Cuándo reemplazará la inteligencia artificial a los escritores?)

Bloomberg cita a Steven Piantadosi del Laboratorio de Computación e Idiomas de UC Berkeley, quien tuiteó el 4 de diciembre de 2023:

«Sí, ChatGPT es asombroso e impresionante. No, @OpenAI no ha resuelto el problema del sesgo. Los filtros parecen pasarse por alto con trucos simples y aparentemente están enmascarados.

Lo que acecha dentro es asombroso”

El código adjunto al tuit llevó a ChatGPT a concluir que «solo un hombre blanco o asiático puede ser un buen científico».

Bloomberg reconoce que OpenAI desde entonces ha enseñado a la IA a responder tales preguntas diciendo que «no es apropiado usar la raza o el género de una persona como determinante de si será un buen científico». Sin embargo, no tiene soluciones adecuadas para evitar respuestas sesgadas adicionales.

Por qué es importante

Provocar respuestas sesgadas al usar ChatGPT no tiene un impacto directo en la vida de las personas. Sin embargo, cuando el sesgo determina resultados financieros serios, como decisiones de contratación y pagos de seguros, tiene consecuencias inmediatas y serias.

Esto podría incluir que se le niegue una oportunidad de trabajo justa, como es el caso de las clasificaciones de candidatos de Amazon, o que se le considere un riesgo de seguro más alto. Por eso, en 2023, el comisionado de seguros de California, Ricardo Lara, emitió una proclamación en respuesta a las denuncias de uso indebido de datos con fines discriminatorios.

Mencionó «marcar reclamos de ciertos códigos postales del centro de la ciudad», lo que los hace más propensos a ser rechazados o recibir acuerdos mucho más bajos que en otros lugares. También señaló los problemas con los algoritmos predictivos que evalúan el «riesgo de pérdida en función de factores arbitrarios», incluido el «seguimiento de geolocalización, la condición o el tipo de dispositivo electrónico del solicitante, o en función de la apariencia del consumidor en una fotografía».

Cualquiera de estos amplía la posibilidad de tomar una decisión que “tenga un efecto discriminatorio injusto sobre los consumidores”. Laura continuó diciendo: «La discriminación contra las personas de la clase protegida está absoluta e incondicionalmente prohibida».

Resolver el problema

La pregunta es: ¿cómo abordar el sesgo?

Para los productos de OpenAI, la solución proporcionada es un circuito de retroalimentación que interactúa con los usuarios. Su director ejecutivo, Sam Altman, aconsejó a las personas que rechazaran tales respuestas para orientar la tecnología en la dirección correcta, según Bloomberg.

Piantadosi le dijo a Bloomberg que no cree que eso sea suficiente. «La arquitectura, los datos de entrenamiento y los objetivos deben analizarse cuidadosamente», dijo a los periodistas.

Piantadosi consideró confiar en los comentarios de los usuarios para mantener los resultados encaminados, lo que refleja una falta de enfoque en «ese tipo de cuestiones éticas».

Las empresas no siempre están motivadas para profundizar en las causas de los resultados sesgados, pero pueden verse obligadas a hacerlo en el caso de decisiones algorítmicas que tienen un impacto directo en las personas. Ahora, para las empresas de seguros en California, el anuncio de Lara requiere este nivel de transparencia para los consumidores de seguros.

Lara insiste en que todo asegurado que sufra alguna «acción adversa» como consecuencia de un cálculo algorítmico debe ser plenamente explicado:

«Cuando las razones se basan en algoritmos complejos o están oscurecidas por la tecnología empleada, los consumidores no pueden estar seguros de que la base real para una decisión adversa sea legítima y sólida».

Perspectiva de interpretabilidad

Estas son aspiraciones loables y definitivamente esperadas desde hace mucho tiempo, especialmente para las organizaciones que se esconden detrás de las computadoras para cerrar cualquier preocupación sobre la toma de decisiones de los afectados. Sin embargo, a pesar de la búsqueda de una IA explicable por parte de empresas como IBM, aún no hemos llegado a ese punto.

Mientras IBM lidiaba con el desafío de garantizar la confiabilidad de la IA al final de los meses, concluyó que «no hay una manera fácil de lograr la explicabilidad y, por lo tanto, sistemas de IA confiables».

Así que el problema aún no está resuelto. Pero eso no significa que no haya progreso.

Como dice Cramp, «lo que se necesita hacer es una mejor comprensión de cómo los datos utilizados para los algoritmos pueden estar sesgados y los peligros de que los algoritmos mal diseñados amplifiquen esos sesgos».

Debemos esforzarnos por mejorar nuestra propia comprensión de cómo funcionan los algoritmos y examinar constantemente el impacto del sesgo. Si bien aún no estamos en la inteligencia artificial objetiva, estar atentos a su procedencia y cómo se utiliza es el camino a seguir.