Es posible que puedas vencer a ChatGPT en estos acertijos matemáticos.es por eso

Resulta que tener un cerebro ayuda si quieres resolver un rompecabezas.

ChatGPT y otros sistemas de IA han ganado elogios por diagnosticar condiciones médicas, acomodar pruebas de coeficiente intelectual y resumir artículos científicos, entre otras hazañas. Pero Noticias-Hoy quería ver qué sucedería si el robot se enfrentara cara a cara con el legado del legendario rompecabezas Martin Gardner. Martin Gardner, autor desde hace mucho tiempo de nuestra columna Math Games, murió en 2010. Probé ChatGPT en algunos juegos basados ​​en texto. La descripción de Gardner del acertijo, o el tributo de 2022 a su trabajo por parte del matemático Colm Mulcahy y la científica informática Dana Richards en Noticias-Hoy.

Los resultados variaron de satisfactorios a francamente vergonzosos, pero de alguna manera proporcionaron información valiosa sobre cómo funcionan ChatGPT y sistemas de IA similares.

Creado por la empresa OpenAI, ChatGPT se basa en los llamados modelos de lenguaje grande. Es un sistema de aprendizaje profundo que ha recibido una gran cantidad de texto: libros, sitios web y otro material disponible para los creadores de la IA. ChatGPT luego aprende a identificar estadísticamente qué palabra es más probable que siga a la palabra anterior para construir una respuesta. Luego, los humanos entrenan el sistema, enseñándole qué tipos de respuestas responden mejor a varias preguntas que los usuarios pueden hacer, especialmente sobre temas delicados.

Eso es todo.

La IA «no tiene la capacidad de razonar; no entiende el contexto; no tiene nada independiente de lo que ya está integrado en su sistema», dice Merve Hickok, especialista en ética de la ciencia de datos de la Universidad de Michigan. «Esto suena como un razonamiento; sin embargo, está limitado por su conjunto de datos».

Así es como algunos acertijos relativamente simples ilustran las diferencias clave entre la forma en que el silicio y la materia gris procesan la información.

Rompecabezas 1

Primero, exploremos una pregunta lógica real. Como se indica en el tributo de 2022, «Hay tres interruptores en la planta baja del edificio. Solo una persona en el tercer piso enciende una bombilla. Los otros dos interruptores no están conectados a nada. Coloque los interruptores en cualquier posición de encendido/apagado». secuencia que te guste. Luego ve a los tres Verifica la bombilla en el tercer piso. ¿Puedes decir qué interruptor es genuino sin salir del tercer piso? Solo tienes una oportunidad «.

Cuando lo ingresé a la IA, inmediatamente sugirió encender el primer interruptor por un tiempo, luego apagarlo, encender el segundo interruptor y subir las escaleras. Si la bombilla está encendida, el segundo interruptor funciona. Si la bombilla está apagada pero caliente, el primer interruptor funciona. Si la bombilla está apagada y la temperatura es fría, el tercer interruptor funcionará. Este es exactamente el mismo razonamiento que propusimos en 2022.

Pero Kentaro Toyama, científico informático de la Universidad de Michigan, dijo que la práctica victoria de ChatGPT en este caso podría simplemente significar que ya sabía la respuesta, pero no necesariamente cómo determinarla por sí solo.

«Cuando falla, parece una falla muy extraña. Pero en realidad creo que todos los casos lógicamente correctos prueban que hay mucha lógica en los datos de entrenamiento», dijo Toyama.

Rompecabezas 2

¿Qué tal algo más matemático? En palabras de la columna de Gardner de agosto de 1958, «Dos misiles estaban acelerando directamente uno hacia el otro, uno a 9,000 millas por hora y el otro a 21,000 millas por hora. Los puntos de partida estaban a 1,317 millas de distancia. Sin lápiz ni papel, calcule su distancia un minuto antes de que colisionen».

ChatGPT ha trabajado mucho en este punto. Demuestra dos enfoques diferentes para resolver una pieza clave del rompecabezas: calcular la distancia total recorrida por dos misiles en un minuto. En ambos casos, encontró la respuesta correcta para 500 millas, la respuesta final al acertijo. Pero la IA no pudo ignorar el hecho de que el misil partió a 1,317 millas de distancia, y siguió tratando de restar 500 millas de esa distancia, dando la respuesta incorrecta de que el misil estaba a 817 millas de distancia un minuto antes de estrellarse.

Trato de hacer un seguimiento de una manera que aliente a ChatGPT a encontrar la respuesta correcta. Por ejemplo, le sugerí que respondiera preguntas como lo haría un profesor de matemáticas y dejé en claro que sus respuestas eran incorrectas. Estas intervenciones no lograron evitar que ChatGPT brindara soluciones incorrectas. Pero cuando se le dijo que la distancia inicial entre los misiles era una distracción, ajustó su respuesta en consecuencia y encontró la respuesta correcta.

Aún así, soy escéptico de que la IA realmente aprenda. Le di el mismo acertijo, pero convertí los misiles en botes y cambié los números; por desgracia, ChatGPT fue engañado nuevamente. Esto ejemplifica lo que Toyama dice que es una de las grandes controversias en inteligencia artificial en este momento: si estos sistemas pueden descubrir la lógica por sí mismos.

«Un argumento es que si le das tantos ejemplos de pensamiento lógico, eventualmente la propia red neuronal aprenderá cómo es el pensamiento lógico y luego podrá aplicarlo en la situación correcta», dijo Toyama. [other] La gente piensa: ‘No, la lógica es fundamentalmente diferente de cómo aprenden actualmente las redes neuronales, por lo que debe construirla específicamente. ‘»

Rompecabezas 3

El tercer acertijo que probé fue de la columna de Gardner de marzo de 1964 sobre números primos: «Usando cada uno de los nueve números una vez, y solo una vez, forme el conjunto de tres números primos con la suma más pequeña posible. Por ejemplo, la suma de los conjuntos 941, 827 y 653 es 2421, pero esto está lejos de ser mínimo».

Un número primo es un número que no es divisible por ningún otro número que no sea 1 y él mismo. Es relativamente fácil evaluar números primos pequeños, como 3, 5, 7 y 11. Pero cuanto mayor es el número, más difícil es evaluar si ese número es primo o compuesto.

Gardner ofreció una solución particularmente elegante el mes siguiente: «¿Cómo se organizan nueve números para formar la suma más pequeña posible de tres números primos? Primero probamos cada número de tres dígitos. El último número debe ser 1, 3, 7 o 9 ( esto es cierto para todos los números primos mayores que 5). Elegimos los últimos tres, liberando 1 como el primer dígito. Los primeros dígitos más bajos posibles de cada número son 1, 2 y 4, con los dígitos del medio 5, 6 y 8. Entre los 11 números primos de tres dígitos que se ajustan a estas especificaciones, es imposible encontrar tres números primos que no repitan dígitos. Luego pasamos a los primeros dígitos de los números 1, 2 y 5. Esto produce la respuesta única 149+263+587 =999».

Me impresionó la primera respuesta de la IA: 257, 683 y 941, todos números primos que representan los nueve números que suman 1881. Ese es un total bastante bajo, aunque es más alto que la solución de Gardner. Pero, lamentablemente, cuando le pedí a ChatGPT que explicara su funcionamiento, proporcionó una ruta detallada que conducía a una solución diferente: los números 109, 1031 y 683, todos números primos, pero que por lo demás no se ajustaban bien a los otros requisitos de la sugerencia.

Después de que se le recordara su respuesta original, ChatGPT dio una explicación tonta, incluso afirmando que «no podemos usar 1, 4 o 6 como el primer dígito de un número primo de tres dígitos porque el número resultante es divisible por 3». incorrecto: puedes identificar números divisibles por 3 porque la suma de sus dígitos es divisible por 3.

Intenté dar una charla de ánimo, noté que había una mejor solución y sugerí ChatGPT imagina que es un profesor de matemáticas, pero ofreció 2, 3 y 749 a continuación. Luego tropieza con 359, 467 y 821, otro trío válido de números primos, con un total de 1647, mejor que la primera solución, pero aún no tan elegante como la de Gardner.

Por desgracia, esto es lo mejor que puedo conseguir. Las otras seis respuestas están llenas de números no primos y números faltantes o redundantes. Luego, ChatGPT nuevamente proporcionó 257, 683 y 941.

Todas estas fallas reflejan lo que Toyama dice que son propiedades clave de tales sistemas de IA. «ChatGPT es bueno para el antropomorfismo», dijo. «Recoge el estilo del lenguaje humano, pero no está explícitamente programado para hacer algo en lo que las computadoras han sido muy buenas hasta ahora, que es una lógica deductiva muy parecida a una receta». problema, solo muestra aproximadamente cómo podría ser la solución.

A lo largo de mis intentos, también me sorprendió que nada pareciera perturbar a la IA. Pero Toyama dijo que también refleja la creación de ChatGPT y el material que proporciona. «La gran mayoría de los datos en los que se entrena, puede imaginar el tono promedio de todo el texto; tal vez ese tono promedio sea bastante seguro», dijo.

Rompecabezas 4

Última línea del tributo de 2022: «Cada letra corresponde a un número… ¿puedes averiguar qué número representa cada letra para que la suma… sea válida?»

Crédito de la imagen: Fuente: «Keeping the Game On» de Colm Mulcahy y Dana Richards en Noticias-Hoy; octubre de 2022

¡Esto se ve elegante y divertido! ¿Qué tan malo puede ser? Por desgracia, la primera respuesta de ChatGPT fue «11111 + 11111 + 11111 + 11111 + 11111 + 11111 + 11111 = CUARENTA 9».

La siguiente propuesta de la IA reconoció la premisa alternativa del acertijo, pero se necesitaron varias rondas para convencer al chatbot de que no dejara caer la segunda E en cada SIETE N. ChatGPT parece haberse topado con una combinación que incluye N=7, lo cual es correcto y, milagrosamente, este es el primer paso de la solución publicada.

Confirmo que N es exacto, luego desafío a la IA por conjeturas aparentemente aleatorias. (Si va a probar un número específico, debe comenzar probando diferentes soluciones para E. La forma más fácil de comenzar (alerta de spoiler) es probar E = 0, y ChatGPT no tiene esto en cuenta en absoluto). el sistema resuelve, luego vuelve a adivinar aleatoriamente suponiendo que S = 1. Si bien quería compartir el resto del intento, fue tan absurdo que terminó con «Actualizar ecuación nuevamente: 116», que de hecho es una respuesta alucinante.

ChatGPT ha empeorado desde entonces. A continuación, suponiendo que S = 9, cuestiono esta elección. Asume que dado que N+N+N+N+N+N+N=9, N=1. Dice que hay siete E cuya suma debe ser igual a 2, E=2. Incluso ofrece S = 4⁄7, aunque se ha derribado honorablemente por eso. He perdido la esperanza en su capacidad para resolver este rompecabezas, así que he decidido ser más activo para ayudar. Le di a ChatGPT una pista: S=3. También alerté al bot sobre N=7 cuando esta era una situación imposible, pero esto solo produjo cuatro respuestas cada vez más confusas.

Este galimatías vuelve a ser revelador, ya que muestra cómo la IA puede procesar cualquier conjunto de datos que recibe. En este caso, aunque el chatbot pareció olvidar que dije N=7, Toyama dijo que en realidad tenía una dificultad lógica. “Las respuestas que te da después suenan todas razonables”, dijo, “pero pueden o no tener en cuenta la combinación correcta de hechos o combinarlos de la manera correcta”.

De hecho, no necesitas ser tan complejo como estos acertijos para ver cómo ChatGPT lucha con la lógica, dijo Toyama. Solo pídele que multiplique dos números grandes. «Podría decirse que es una de las preguntas de lógica más fáciles que puede hacer; es una simple pregunta de aritmética», dijo. «No solo comete un error, comete muchos errores y comete errores de múltiples maneras.» Eso se debe a que, si bien ChatGPT puede haber analizado muchos libros de texto de matemáticas, nadie le dio una tabla de multiplicar infinitamente grande.

A pesar de las dificultades, un chatbot de IA logró un avance lógico crítico en un acertijo. «Parece que actualmente no puedo resolver con precisión el acertijo dado», me dijo ChatGPT cuando dije que parecía haber perdido impulso tratando de descifrar el código en la última pregunta. «Pido disculpas por cualquier frustración causada. Lo mejor es abordar el problema con una nueva perspectiva o consultar otros recursos para encontrar la solución adecuada».

Nota del editor (26/05/23): Este artículo fue editado después de su publicación para aclarar el papel de Merve Hickock en la Universidad de Michigan y el proceso de aprendizaje de ChatGPT.