Resumen de investigación escrito por científicos tontos de IA
Los chatbots de inteligencia artificial (IA) pueden escribir resúmenes de trabajos de investigación falsos de manera tan convincente que los científicos a menudo no los detectan, según una preimpresión publicada en el servidor bioRxiv a fines de diciembre. Los investigadores están divididos sobre su impacto en la ciencia.
«Estoy muy preocupada», dijo Sandra Wachter, quien estudia tecnología y regulación en la Universidad de Oxford en Inglaterra, quien no participó en el estudio. «Si ahora estamos en una situación en la que los expertos no pueden determinar qué es verdad o qué es falso, perdemos al intermediario que necesitamos desesperadamente para guiarnos a través de temas complejos», agregó.
Chatbot ChatGPT crea texto realista e inteligente basado en indicaciones del usuario. Es un «modelo de lenguaje grande», un sistema basado en redes neuronales que aprende a realizar tareas al digerir grandes cantidades de texto existente generado por humanos. La empresa de software OpenAI, con sede en San Francisco, California, lanzó la herramienta el 30 de noviembre y es de uso gratuito.
Desde su lanzamiento, los investigadores han lidiado con cuestiones éticas en torno a su uso, ya que gran parte de su producción es indistinguible del texto escrito por humanos. Los científicos publicaron una preimpresión2 y un editorial3 escritos por ChatGPT. Ahora, un grupo dirigido por Catherine Gao en la Universidad Northwestern en Chicago, Illinois, está utilizando ChatGPT para generar resúmenes de trabajos de investigación en humanos para probar si los científicos pueden detectarlos.
Los investigadores le pidieron al chatbot que escribiera resúmenes de 50 estudios médicos basados en antologías publicadas en JAMA, NEJM, BMJ, The Lancet y Nature Medicine. Luego compararon estos resúmenes con los resúmenes originales a través de un detector de plagio y un detector de salida de IA, y le pidieron a un equipo de investigadores médicos que detectara los resúmenes fabricados.
Discreto y misterioso
Los resúmenes generados por ChatGPT pasaron el verificador de plagio sin problemas: la puntuación mediana de originalidad fue del 100 %, lo que indica que no se detectó ningún plagio. El detector de salida de IA encontró el 66% de los resúmenes generados. Pero los revisores humanos no lo hicieron mucho mejor: solo identificaron correctamente el 68 % de los resúmenes generados y el 86 % de los resúmenes reales. Identificaron incorrectamente el 32 % de los resúmenes generados como resúmenes reales y el 14 % de los resúmenes reales como generados.
«ChatGPT produce resúmenes científicos creíbles», dijeron Gao y sus colegas en una preimpresión. «Los límites éticos y aceptables del uso de grandes modelos de lenguaje para ayudar a la escritura científica aún no se han determinado».
Si los científicos no pueden estar seguros de que la investigación es cierta, podría haber «consecuencias nefastas», dijo Wachter. Debido a que la investigación que están leyendo está fabricada, el investigador puede caer en una línea de investigación defectuosa, lo cual es un problema para los investigadores, «con implicaciones para la sociedad en su conjunto, porque la investigación científica en nuestra sociedad ha jugado un papel muy importante. » Por ejemplo, esto podría significar que las decisiones basadas en la investigación son incorrectas, agrega.
Pero «es poco probable que algún científico serio use ChatGPT para generar resúmenes”, dice Arvind Narayanan, científico informático de la Universidad de Princeton en Nueva Jersey. Si los resúmenes generados pueden detectarse es «irrelevante», agrega. «La pregunta es si la herramienta puede generar resúmenes precisos y convincentes. No puede, por lo que los beneficios de usar ChatGPT son mínimos y las desventajas son significativas», dijo.
Irene Solaiman, que investiga el impacto social de la inteligencia artificial en Hugging Face, una firma de inteligencia artificial con sede en Nueva York y París, se preocupa por cualquier situación que dependa de grandes modelos de lenguaje para el pensamiento científico. «Estos modelos están entrenados en información del pasado, y el progreso social y científico a menudo proviene del pensamiento o de la apertura al pensamiento, a diferencia del pasado», agregó.
Los autores sugieren que aquellos que evalúan la comunicación científica, como artículos de investigación y actas de congresos, deben desarrollar políticas que excluyan el uso de texto generado por IA. Si las agencias eligen permitir que la tecnología se use en ciertas circunstancias, deben desarrollar reglas claras sobre la divulgación. A principios de este mes, la 40.ª Conferencia Internacional sobre Aprendizaje Automático, una importante conferencia de IA que se celebrará en Honolulu, Hawái, en julio, anunció la prohibición de los artículos escritos con ChatGPT y otras herramientas de lenguaje de IA.
Solaiman agregó que en campos donde la desinformación podría poner en peligro la seguridad de las personas, como la medicina, es posible que las revistas deban adoptar un enfoque más estricto para verificar la precisión de la información.
Las soluciones a estos problemas no deberían centrarse en los chatbots en sí mismos, dijo Narayanan, «sino en los incentivos perversos que conducen a tal comportamiento, como que las universidades cuenten la cantidad de documentos que revisan para contratación y promoción, sin importar su calidad o impacto». «
Este artículo se reimprime con permiso y apareció por primera vez el 12 de enero de 2023.
