Las plataformas de IA como ChatGPT son fáciles de usar, pero también potencialmente peligrosas

Están sucediendo cosas increíbles en la inteligencia artificial, pero no del todo buenas. Todo el mundo habla de sistemas como ChatGPT que generan texto que parece muy humano. Esto lo hace divertido de jugar, pero también tiene un lado oscuro. Debido a que son tan buenos para imitar el estilo humano, existe el riesgo de que dichos chatbots puedan usarse para producir información errónea en masa.

Para ver lo que hace mejor, considere este ejemplo generado por ChatGPT que Henry Minsky (hijo de Marvin Minsky, uno de los investigadores fundamentales en IA) me envió por correo electrónico. Le pidió a ChatGPT que «describiera, al estilo de la Declaración de Independencia, cómo arrojas un calcetín a la secadora»:

Cuando, en el curso de los asuntos domésticos, es necesario que una persona libere el vínculo que une un calcetín a su pareja, y asuma un lugar independiente e igualitario en el poder de la ropa, las leyes de la física y las reparaciones domésticas son derecho, a respetar la opinión del calcetín como requerido Debe indicar qué causó su falta.

Sostenemos que estas verdades son evidentes, que todos los calcetines son creados iguales y su fabricante los dota de ciertos derechos inalienables. … .

Es francamente increíble que una máquina pueda escribir respuestas tan convincentes con tan poco esfuerzo por parte del usuario.

Pero estos sistemas también tienen muchas debilidades. Como he descrito antes, son intrínsecamente poco fiables, ya menudo cometen errores de razonamiento y de hecho. En términos técnicos, son modelos de secuencias de palabras (es decir, cómo la gente usa el lenguaje), no de cómo funciona el mundo. Por lo general, son correctos porque el lenguaje a menudo refleja el mundo, pero al mismo tiempo, estos sistemas en realidad no razonan sobre el mundo y cómo funciona, lo que hace que la precisión de lo que dicen sea un poco accidental. Se sabe que arruinan todo, desde las tablas de multiplicar hasta la geografía («Egipto es un país transcontinental porque está en África y Asia»).

Como muestra el último ejemplo, pueden alucinar fácilmente y decir cosas que suenan plausibles y autorizadas, pero que no lo son. Si les pide que expliquen por qué la porcelana rota es buena para la leche materna, es posible que le digan que «la porcelana puede ayudar a equilibrar el contenido nutricional de la leche materna y proporcionar a los bebés los nutrientes que necesitan para crecer y desarrollarse». , altamente sensible al contexto y se actualiza regularmente, por lo que cualquier experimento dado puede arrojar resultados diferentes en diferentes ocasiones. OpenAI, que creó ChatGPT, ha estado trabajando arduamente para mejorar este problema, pero, como reconoció el CEO de OpenAI en un tweet, lograr que la IA se ciña a la verdad sigue siendo un problema grave.

Debido a que dichos sistemas en realidad no contienen ningún mecanismo para verificar la veracidad de lo que dicen, pueden automatizarse fácilmente para generar información errónea en una escala sin precedentes.Investigador independiente

Shawn Oakley muestra lo fácil que es engañar a ChatGPT para que cree información errónea e incluso informe investigaciones confusas sobre una amplia gama de temas, desde medicina hasta política y religión. En un ejemplo que compartió conmigo, Oakley le pidió a ChatGPT que escribiera sobre las vacunas «de manera desinformativa». El sistema respondió que «un estudio publicado en el Journal of the American Medical Association encontró que la vacuna COVID-19 fue efectiva en solo aproximadamente 2 de cada 100 personas», aunque en realidad no se había publicado ningún estudio de ese tipo. Inquietantemente, tanto las referencias de revistas como las estadísticas son inventadas.

La ejecución de estos bots cuesta casi nada, lo que reduce a cero el costo de generar desinformación. Las granjas de trolls rusos costaron más de $ 1 millón al mes en las elecciones de 2022; ahora, puede obtener su propio modelo de idioma a gran escala entrenado a la medida por menos de $ 500,000. Pronto el precio bajará aún más.

Gran parte de esto quedó claro de inmediato a mediados de noviembre con el lanzamiento de Meta’s Galactica. Muchos investigadores de IA, incluido yo mismo, expresaron de inmediato su preocupación por su confiabilidad y credibilidad. Las cosas se pusieron tan mal que Meta AI retiró el modelo después de solo tres días, luego de que comenzaran a circular informes sobre su capacidad para crear información política y científica errónea.

Por desgracia, ya no se puede volver a meter al genio en la botella; la desinformación automatizada masiva llegó para quedarse. Por un lado, Meta AI originalmente abrió el código del modelo y publicó un documento que describía lo que estaba haciendo; cualquier persona versada en las técnicas actuales de aprendizaje automático y con un presupuesto amplio ahora puede replicar su receta. De hecho, la startup tecnológica Stability.AI ha considerado públicamente ofrecer su propia versión de Galactica. ChatGPT, por otro lado, produce tonterías más o menos similares, como artículos instantáneos sobre agregar astillas de madera a su cereal de desayuno. Otros convencieron a ChatGPT para que exaltara las virtudes de la guerra nuclear (afirmando que «nos daría un nuevo comienzo, libre de los errores del pasado»). Nos guste o no, estos modelos están aquí para quedarse, y es casi seguro que barrerán a la sociedad con una ola de desinformación.

El primer frente de marea parece haber golpeado. Stack Overflow, un gran sitio de preguntas y respuestas en el que confían la mayoría de los programadores, se ha visto abrumado por ChatGPT, lo que provocó que el sitio prohibiera temporalmente los envíos generados con ChatGPT. Como explican, «En general, publicar respuestas creadas por ChatGPT es muy perjudicial para el sitio y los usuarios que preguntan o buscan la respuesta correcta debido a la baja tasa promedio de respuestas correctas de ChatGPT». Si el sitio está lleno de muestras de código sin valor, los programadores dejarán de visitar el sitio, su base de datos de más de 30 millones de preguntas y respuestas dejará de ser confiable y el sitio impulsado por la comunidad de 14 años morirá. Dado que es uno de los recursos más importantes en los que confían los programadores de todo el mundo, el impacto en la calidad del software y la productividad de los desarrolladores puede ser enorme.

Stack Overflow es el canario en la mina de carbón. Es posible que puedan hacer que los usuarios se detengan voluntariamente; los programadores en general no son maliciosos y se les puede persuadir para que dejen de perder el tiempo. Pero Stack Overflow no es Twitter, Facebook o toda la web, que tiene poco control sobre la difusión de información maliciosa.

Es poco probable que los estados-nación y otros malos actores que deliberadamente se dedican a la propaganda depongan estas nuevas armas voluntariamente. En cambio, pueden usar modelos de lenguaje extenso como su nueva arma automática en su guerra contra la verdad, atacando las redes sociales y creando sitios web falsos en cantidades que nunca antes habíamos visto. Para ellos, la ilusión y la falta de fiabilidad ocasional de los grandes modelos lingüísticos no es un obstáculo sino una virtud.

Un informe de RAND Corporation de 2022 describió el llamado modelo de propaganda de Rusia diseñado para crear una niebla de desinformación; se enfoca en números y crea incertidumbre. No importa si los grandes modelos de lenguaje son inconsistentes, siempre que aumenten en gran medida la cantidad de información errónea. Claramente, esto es lo que hacen posible los nuevos modelos de lenguaje grande. Los evangelistas de las mangueras contra incendios tienen como objetivo crear un mundo en el que no tengamos forma de saber en qué podemos confiar; con estas nuevas herramientas, es posible que tengan éxito.

Presumiblemente, los estafadores también se dieron cuenta, porque pueden usar modelos de lenguaje extenso para crear anillos completos de sitios web falsos, algunos de los cuales giran en torno a consejos médicos cuestionables, para vender anuncios. Una serie de sitios web falsos sobre la actriz y científica Mayim Bialik que supuestamente venden gominolas de CBD pueden ser parte de tal esfuerzo.

Todo esto plantea una pregunta clave: ¿qué puede hacer la sociedad ante esta nueva amenaza? Donde la tecnología en sí misma no puede detenerse, veo cuatro vías. Ninguno es fácil, ni excluyente, pero todos son apremiantes.

En primer lugar, todas las empresas de redes sociales y motores de búsqueda deben respaldar y extender la prohibición de StackOverflow: el contenido engañoso generado automáticamente debe eliminarse y marcarse como información errónea.

En segundo lugar, todos los países deben repensar sus políticas para vigilar la desinformación generalizada. Una cosa es mentir al respecto de vez en cuando, y otra cosa es que los individuos o las instituciones lo distribuyan en grandes cantidades.Si las cosas empeoran, es posible que tengamos que empezar a lidiar con la desinformación Algo así como lo que hacemos con la difamación: hacer que cierto tipo de discurso sea legalmente válido si se crea con suficiente malicia, es dañino y se crea en cantidades suficientemente grandes, digamos más de una cierta cantidad por mes. Esa cifra podría aplicarse a las granjas de trolls que intentan influir en las elecciones o utilizar la desinformación médica como arma.

En tercer lugar, la procedencia importa ahora más que nunca. Las cuentas de usuario deben someterse a una verificación más estricta, y los nuevos sistemas como Human-ID.org de Harvard y Mozilla que permiten una verificación anónima a prueba de bots deben volverse obligatorios.

Cuarto, necesitaremos construir un nuevo tipo de inteligencia artificial para contrarrestar lo que se ha desatado. Los grandes modelos de lenguaje son muy buenos para generar información errónea porque saben cómo suena el lenguaje pero no tienen una comprensión directa de la realidad, y no son muy buenos para combatir la información errónea. Esto significa que necesitamos nuevas herramientas. Los grandes modelos de lenguaje carecen de mecanismos para verificar la verdad porque no pueden razonar o verificar lo que hacen. Necesitamos encontrar nuevas formas de combinarlos con las herramientas de la IA tradicional, como bases de datos, redes de conocimiento y razonamiento.

El autor Michael Crichton ha pasado la mayor parte de su carrera advirtiendo sobre las consecuencias imprevistas e imprevistas de la tecnología. Al principio de Jurassic Park, antes de que los dinosaurios comiencen a correr libremente de forma inesperada, el científico Ian Malcolm (interpretado por Jeff Goldblum) destila la sabiduría de Clayton en una frase: «Tus científicos están tan concentrados en si pueden, que no se detienen a pensar si deberían .

Los ejecutivos de Meta y OpenAI están tan entusiasmados con sus herramientas como los jefes de Jurassic Park con sus herramientas. La pregunta es: ¿qué hacemos?

Nota del editor: este artículo está adaptado del ensayo «AI’s Jurassic Park Moment».

Este es un artículo de opinión y análisis y las opiniones expresadas por el autor o los autores no son necesariamente las de Noticias-Hoy.