Cómo hacer que la inteligencia artificial sea más democrática
Este año, GPT-3, un gran modelo de lenguaje capaz de comprender textos, responder preguntas y generar nuevos ejemplos de escritura, ha llamado la atención de los medios internacionales. El modelo, lanzado por OpenAI, una organización sin fines de lucro con sede en California que construye sistemas de inteligencia artificial de propósito general, tiene una capacidad impresionante para imitar la escritura humana, pero igual de notable es su enorme tamaño. Para construirlo, los investigadores recolectaron 175 mil millones de parámetros (un tipo de unidad computacional) y más de 45 terabytes de texto de Common Crawl, Reddit, Wikipedia y otras fuentes, luego lo entrenaron en un proceso que ocupó cientos de unidades de procesamiento durante miles de horas. .
GPT-3 demuestra una tendencia más amplia en inteligencia artificial. El aprendizaje profundo, que en los últimos años se ha convertido en la técnica dominante para crear nuevas IA, utiliza enormes cantidades de datos y potencia informática para impulsar modelos complejos y precisos. Estos recursos son más accesibles para investigadores de grandes empresas y universidades de élite. Como resultado, sugiere un estudio de Western University, ha habido una «desdemocratización» en la IA: la cantidad de investigadores capaces de contribuir a desarrollos de vanguardia se está reduciendo. Esto reduce el grupo de personas que pueden definir las direcciones de investigación para esta tecnología fundamental, que tiene implicaciones sociales. Incluso puede estar contribuyendo a algunos de los desafíos éticos que enfrenta el desarrollo de la IA, incluida la invasión de la privacidad, el sesgo y el impacto ambiental de los modelos grandes.
Para combatir estos problemas, los investigadores están tratando de averiguar cómo hacer más con menos. Uno de estos avances recientes se denomina aprendizaje de “menos de un disparo” (aprendizaje LO-shot), desarrollado por Ilia Sucholutsky y Matthias Schonlau de la Universidad de Waterloo.[Office1] [RK2] El principio detrás del aprendizaje LO-shot es que debería ser posible que una IA aprenda sobre objetos en el mundo sin recibir un ejemplo de cada uno. Este ha sido un gran obstáculo para los sistemas de inteligencia artificial contemporáneos, que a menudo requieren miles de ejemplos para aprender a distinguir objetos. Los humanos, por otro lado, a menudo pueden abstraerse de los ejemplos existentes para reconocer nuevos elementos nunca antes vistos. Por ejemplo, cuando se le muestran diferentes formas, un niño puede distinguir fácilmente entre los ejemplos y reconocer las relaciones entre lo que se le mostró y las formas nuevas.
El equipo introdujo por primera vez este tipo de aprendizaje a través de un proceso llamado destilación suave. Una base de datos de imágenes mantenida por el Instituto Nacional de Estándares y Tecnología, llamada MNIST, que contiene 60.000 ejemplos de dígitos escritos del 0 al 9, se destiló en cinco imágenes que combinaban características de varios números. Después de mostrar solo esos cinco ejemplos, el sistema de la Universidad de Waterloo pudo clasificar con precisión el 92 por ciento de las imágenes restantes en la base de datos.
En su último artículo, el equipo ha ampliado este principio para mostrar que, en teoría, las técnicas de LO-shot permiten que las IA aprendan potencialmente a distinguir miles de objetos dado un pequeño conjunto de datos de incluso dos ejemplos. Esta es una gran mejora con respecto a los sistemas tradicionales de aprendizaje profundo, en los que la demanda de datos crece exponencialmente con la necesidad de distinguir más objetos. Actualmente, los pequeños conjuntos de datos de LO-shot deben diseñarse cuidadosamente para destilar las características de las diversas clases de objetos. Pero Sucholutsky busca desarrollar aún más este trabajo al observar las relaciones entre los objetos ya capturados en pequeños conjuntos de datos existentes.
Permitir que las IA aprendan con una cantidad de datos considerablemente menor es importante por varias razones. En primer lugar, encapsula mejor el proceso real de aprendizaje al obligar al sistema a generalizar a clases que no ha visto. Al incorporar abstracciones que capturan las relaciones entre objetos, esta técnica también reduce el potencial de sesgo. Actualmente, los sistemas de aprendizaje profundo son víctimas de sesgos que surgen de características irrelevantes en los datos que utilizan para entrenar. Un ejemplo bien conocido de este problema es que la IA clasifica a los perros como lobos cuando se les muestran imágenes de perros en un entorno nevado, porque la mayoría de las imágenes de lobos los muestran cerca de la nieve. Ser capaz de concentrarse en importante aspectos de la imagen ayudarían a prevenir estos errores. La reducción de las necesidades de datos hace que estos sistemas sean menos propensos a este tipo de sesgo.
Luego, cuanto menos extensos sean los datos que uno necesita usar, menos incentivo existe para vigilar a las personas para construir mejores algoritmos. Por ejemplo, las técnicas de destilación suave ya han tenido un impacto en la investigación de IA médica, que entrena a sus modelos utilizando información de salud confidencial. En un artículo reciente, los investigadores utilizaron destilación suave en imágenes de rayos X de diagnóstico basadas en un pequeño conjunto de datos que preserva la privacidad.
Finalmente, permitir que las IA aprendan con datos menos abundantes ayuda a democratizar el campo de la inteligencia artificial. Con IA más pequeñas, el mundo académico puede seguir siendo relevante y evitar el riesgo de que la industria robe a los profesores. El aprendizaje LO-shot no solo reduce las barreras de entrada al reducir los costos de capacitación y los requisitos de datos, sino que también brinda más flexibilidad a los usuarios para crear nuevos conjuntos de datos y experimentar con nuevos enfoques. Al reducir el tiempo dedicado a la ingeniería de datos y arquitectura, los investigadores que buscan aprovechar la IA pueden dedicar más tiempo a concentrarse en los problemas prácticos que pretenden resolver.
