La IA explicable no es suficiente; Necesitamos una IA comprensible

En el mundo de la inteligencia artificial (IA), la IA explicable (XAI) ha ganado una atención increíble en los últimos años. Muchos enfatizan lo importante que es para el futuro de la inteligencia artificial y el aprendizaje automático. (Lea también: ¿Por qué importa la IA explicable de todos modos?)

y eso es importante, pero no es la solución. El deseo de explicar las decisiones de los sistemas de caja negra es bueno; pero las herramientas o métodos de XAI por sí solos nunca serán suficientes. Si queremos brindar una garantía total para las decisiones de estos sistemas, deberíamos discutir cómo ofrecer una «IA comprensible».

XAI está de moda ahora mismo por las razones correctas

Cada vez más, los sistemas de IA están tomando decisiones importantes que afectan nuestra vida diaria.

Desde reclamos de seguros y préstamos hasta diagnósticos médicos y empleo, las empresas utilizan sistemas de inteligencia artificial y aprendizaje automático (ML) con una frecuencia cada vez mayor. Sin embargo, los consumidores se han vuelto cada vez más cautelosos con la inteligencia artificial. Por ejemplo, en el ámbito de los seguros, solo el 17 % de los consumidores confían en la IA para revisar sus reclamaciones de seguros porque no pueden comprender cómo estos sistemas de caja negra toman sus decisiones. (Lea también: ¿Ha cambiado la pandemia global la visión mundial de la IA?)

La explicabilidad de los sistemas de IA es prácticamente tan antigua como el propio campo. En los últimos años, la investigación académica ha producido muchas técnicas XAI prometedoras y han surgido varias empresas de software para proporcionar herramientas XAI al mercado. Sin embargo, el problema es que todos estos enfoques ven la explicabilidad como un problema puramente técnico. En realidad, la necesidad de explicabilidad y la interpretabilidad en IA es un problema empresarial y social mucho mayor, que requiere una solución más completa que la que puede ofrecer XAI.

XAI solo se aproxima a la caja negra

Quizás sea más fácil entender cómo funciona XAI a través de una analogía. Entonces, considere otra caja negra: la mente humana.

Todos tomamos decisiones; y somos más o menos conscientes de las razones detrás de esas decisiones (¡incluso cuando se nos pide que las expliquemos!). Ahora imagínate a ti mismo (la XAI) observando las acciones de otra persona (el modelo de IA original) e infiriendo la razón detrás de esas acciones. ¿Qué tan bien te funciona eso en general?

Con XAI, está utilizando un segundo modelo para interpretar el modelo original. El modelo «explicador» es una mejor estimación del funcionamiento interno de la caja negra del modelo original. Podrían aproximarse a lo que sucede en la caja negra; es posible que no ¿Qué tan bien deberíamos esperar que se aproxime y «explique» las decisiones no humanas? Realmente no podemos saberlo. Para agravar este problema, los diferentes tipos de modelos requieren diferentes explicadores, lo que los hace más complicados de administrar junto con sus respectivos modelos.

Una alternativa atractiva es diseñar los llamados modelos “interpretables” que brindan visibilidad a la lógica de decisión por diseño. Algunas excelentes investigaciones recientes sugieren que tales modelos de «caja blanca» pueden funcionar tan bien como los de caja negra en algunos dominios. Pero incluso estos modelos tienen una desventaja significativa: a menudo, todavía no son comprensibles para personas sin conocimientos técnicos.

¿Explicable a quién?

Otro experimento mental rápido: imagine que las explicaciones imperfectas de XAI fueran, en cambio, perfectas. Ahora, invite a alguien que no sea un científico de datos a revisar las decisiones del modelo, por ejemplo, un ejecutivo a cargo de una línea de negocios de mil millones de dólares que necesita decidir si da luz verde a un modelo de aprendizaje automático de alto impacto. (Lea también: Las 6 formas principales en que la IA está mejorando la productividad empresarial en 2023).

El modelo podría crear una enorme ventaja competitiva y generar enormes ingresos de primera línea. También podría dañar la marca de la empresa de forma permanente o perjudicar el precio de las acciones de la empresa si el modelo se vuelve loco. Por lo tanto, es seguro decir que el ejecutivo querría alguna prueba antes de que el modelo entre en funcionamiento.

Mirando los resultados de algunos modelos explicativos, lo que encontrarían es básicamente un galimatías. Es decir, son datos ilegibles y descontextualizados sin ninguno de los atributos o la lógica que esperarían cuando escuchan la palabra «explicación».

Aquí radica el mayor problema para XAI como campo para su uso en la empresa. Además, los modelos interpretables tienen el mismo problema para la gente común: las explicaciones requieren la traducción de tecnólogos. El ejecutivo de negocios, la organización de riesgos, el gerente de cumplimiento, el auditor interno, la oficina del abogado principal y la junta directiva no pueden entender estas explicaciones de manera independiente. ¿Qué sucede con el usuario final al que impacta el modelo?

Debido a esto, lograr confianza y confianza se vuelve difícil. Las partes externas como los reguladores, los defensores de los consumidores y los clientes encontrarán aún menos comodidad.

El hecho es que la mayoría de las herramientas de IA «explicables» solo se pueden explicar a una persona con una sólida formación técnica y una profunda familiaridad con el funcionamiento de ese modelo. XAI es una pieza importante del conjunto de herramientas del tecnólogo, pero no es una forma práctica o escalable de «explicar» las decisiones de los sistemas de IA y ML.

IA comprensible: transparencia y accesibilidad

La única forma en que vamos a llegar a la tierra prometida de la confianza en las decisiones tomadas por la IA y el ML de caja negra es enriqueciendo el dominio explicativo y ampliando su audiencia. Lo que necesitamos es una «IA comprensible», o una IA que satisfaga las necesidades de las partes interesadas no técnicas, además de las herramientas XAI para los equipos técnicos.

La base para la comprensibilidad es la transparencia. Las personas no técnicas deben tener acceso a todas las decisiones tomadas por los modelos que supervisan. Deben poder buscar en un sistema de registro, basado en parámetros clave, para evaluar las decisiones individualmente y en conjunto. Deben poder realizar un análisis contrafactual sobre decisiones individuales, cambiando variables específicas para probar si los resultados son los esperados o no. (Lea también: La IA tiene algunas explicaciones que hacer).

Pero no deberíamos quedarnos ahí. La inteligencia artificial comprensible también debe incluir el contexto más amplio en el que operan los modelos. Para generar confianza, los dueños de negocios deben tener visibilidad de la toma de decisiones humana que precedió y acompañó al modelo a lo largo de su ciclo de vida. Estas son solo algunas de las preguntas vitales que todos los que están cerca de un modelo deben hacerse:

• ¿Por qué se consideró que este modelo en particular era la mejor opción para el problema comercial que se estaba abordando? Qué otras opciones se consideraron; y ¿por qué se descartaron?
• ¿Qué riesgos y limitaciones se identificaron durante el proceso de selección? ¿Cómo se mitigaron?
• ¿Qué datos se seleccionaron para su inclusión en el modelo? ¿Cómo se evaluó la idoneidad y los posibles problemas?
• ¿Las fuentes de datos eran internas o externas a la empresa? Si se usaron datos de terceros, ¿qué garantías brindaron los proveedores con respecto a sus prácticas de gobierno de datos?
• ¿Qué aprendimos durante el desarrollo y la capacitación del modelo? ¿Cómo informaron esos aprendizajes al producto final?
• ¿Cómo garantiza nuestra empresa que los problemas se identifiquen y rectifiquen una vez que el modelo esté en producción?

Conclusión: XAI es una pieza de la solución de inteligencia artificial comprensible

La explicabilidad por sí sola no resolverá el problema de comprender cómo se comporta un modelo de IA o ML. Sin embargo, puede, y debe, ser una pieza importante de la imagen más amplia de IA comprensible.

Con una cuidadosa selección y diseño, estas herramientas brindan información invaluable para el modelador experto y los equipos técnicos, especialmente antes de que un modelo se ponga en producción. Pero si las empresas que innovan con estos modelos inteligentes hoy en día no tienen en cuenta las necesidades de sus partes interesadas no técnicas, es casi seguro que pondrán en peligro el éxito de muchos proyectos importantes, proyectos que podrían beneficiar al público ya las empresas que los desarrollan.