¿Eres mejor que una máquina para detectar un deepfake?

Sara Vitak: Esto es Científico americanoLa ciencia de 60 segundos. Soy Sara Vitak.

A principios del año pasado, un TikTok de Tom Cruise haciendo un truco de magia se volvió viral.

[CLIP: Deepfake of Tom Cruise says, “I’m going to show you some magic. It’s the real thing. I mean, it’s all the real thing.”]

Vitak: Solo que no era la cosa real. No era realmente Tom Cruise en absoluto. Fue un deepfake.

Matt Groh: Un deepfake es un video en el que una red neuronal altera la cara de una persona para hacer que una persona haga o diga algo que no ha hecho o dicho.

Vitak: Ese es Matt Groh, un Ph.D. estudiante e investigador del MIT Media Lab. (Solo un poco de divulgación completa aquí: trabajé en Media Lab durante algunos años, y conozco a Matt y a uno de los otros autores de esta investigación).

Groh: Parece que hay mucha ansiedad y mucha preocupación por las falsificaciones profundas y nuestra incapacidad para, ya sabes, saber la diferencia entre lo real y lo falso.

Vitak: Pero señala que los videos publicados en la cuenta de Deep Tom Cruise no son sus deepfakes estándar.

El creador, Chris Umé, volvió atrás y editó fotogramas individuales a mano para eliminar cualquier error o defecto dejado por el algoritmo. Le toma alrededor de 24 horas de trabajo por cada clip de 30 segundos. Hace que los videos parezcan inquietantemente realistas. Pero sin ese toque humano, muchas fallas aparecen en videos falsos profundos generados algorítmicamente.

Ser capaz de discernir entre videos falsos y reales es algo que preocupa mucho a las plataformas de redes sociales, ya que necesitan descubrir cómo moderar y filtrar este contenido.

Podrías pensar: «Está bien, bueno, si los videos son generados por una IA, ¿no podemos tener una IA que también los detecte?»

Groh: La respuesta es un poco sí, pero un poco no. Y entonces puedo ir, ¿quieres que entre, como, por qué eso? Está bien, genial. Entonces, la razón por la que es un poco difícil predecir si el video ha sido manipulado o no es porque en realidad es una tarea bastante compleja. Y así, la IA se está volviendo realmente buena en muchas tareas específicas que tienen muchas limitaciones. Y así, la IA es fantástica en el ajedrez. La IA es fantástica en Go. La IA es realmente buena en muchos diagnósticos médicos diferentes, no en todos, pero en algunos diagnósticos médicos específicos, la IA es realmente buena. Pero el video tiene muchas dimensiones diferentes.

Vitak: Pero un rostro humano no es tan simple como un tablero de juego o un grupo de células que crecen anormalmente. Es tridimensional, variada. Sus características crean patrones cambiantes de sombra y brillo. Y rara vez está en reposo.

Groh: Y a veces puedes tener una situación más estática, donde una persona mira directamente a la cámara y muchas cosas no cambian. Pero muchas veces la gente está caminando. Tal vez hay varias personas. Las cabezas de la gente están girando.

Vitak: En 2023, Meta (anteriormente Facebook) realizó una competencia en la que pedían a las personas que enviaran algoritmos de detección de falsificaciones profundas. Los algoritmos se probaron en un «conjunto reservado», que era una mezcla de videos reales y videos falsos que se ajustaban a algunos criterios importantes.

Groh: Así que todos estos videos son de 10 segundos. Y todos estos videos muestran actores, actores desconocidos, personas que no son famosas en escenarios anodinos, diciendo algo que no es tan importante. Y la razón por la que menciono eso es porque significa que nos estamos enfocando solo en las manipulaciones visuales. Entonces, no nos estamos enfocando en «Hacer», como «¿Sabe algo sobre este político o este actor?» y, como, “Eso no es lo que habrían dicho. Eso no es como su creencia” o algo así. «¿Es esto, como, un poco loco?» No nos estamos enfocando en ese tipo de preguntas.

Vitak: La competencia tuvo un premio en efectivo de $ 1 millón que se dividió entre los mejores equipos. El algoritmo ganador solo pudo obtener un 65 por ciento de precisión.

Groh: Eso significa que 65 de 100 videos, predijeron correctamente. Pero es una predicción binaria. O es deepfake o no. Y eso significa que no está tan lejos de 50-50. Entonces, la pregunta que teníamos era: «Bueno, ¿qué tan bien lo harían los humanos, en relación con esta mejor IA en este conjunto reservado?»

Groh y su equipo tuvieron el presentimiento de que los humanos podrían ser especialmente adecuados para detectar falsificaciones profundas, en gran parte porque todas las falsificaciones profundas son videos de rostros.

Groh: La gente es muy buena para reconocer caras. Solo piensa en cuántas caras ves todos los días. Tal vez no tanto en la pandemia, pero en general, ves muchas caras. Y resulta que en realidad tenemos una parte especial en nuestro cerebro para el reconocimiento facial. Se llama el área de la cara fusiforme. Y no solo tenemos esta parte especial en nuestro cerebro, sino que los bebés incluso tienen propensión a las caras frente a los objetos que no son caras.

Vitak: Debido a que los deepfakes en sí mismos son tan nuevos (el término se acuñó a fines de 2017), la mayor parte de la investigación hasta ahora sobre la detección de deepfakes en la naturaleza realmente se ha centrado en desarrollar algoritmos de detección: programas que pueden, por ejemplo, detectar artefactos visuales o de audio dejados por el métodos de aprendizaje automático que generan deepfakes. Hay mucha menos investigación sobre la capacidad humana para detectar falsificaciones profundas. Hay varias razones para esto, pero la principal es que diseñar este tipo de experimento para humanos es desafiante y costoso. La mayoría de los estudios que piden a los humanos que realicen tareas basadas en computadora utilizan plataformas de colaboración colectiva que les pagan a las personas por su tiempo. Se encarece muy rápidamente.

El grupo hizo una prueba piloto con participantes pagados, pero finalmente ideó una solución creativa y lista para usar para recopilar datos.

Groh: La forma en que obtuvimos muchas observaciones fue alojar esto en línea y ponerlo a disposición del público. Entonces, hay un sitio web, detectfakes.media.mit.edu, donde lo alojamos, y estaba totalmente disponible. y había algunos artículos sobre este experimento cuando lo lanzamos. Y entonces recibimos un poco de entusiasmo de la gente que hablaba al respecto; tuiteamos sobre esto. Y luego hicimos esto. Es un poco alto en los resultados de búsqueda de Google cuando busca detección de falsificaciones profundas y simplemente siente curiosidad por esto. De hecho, tuvimos alrededor de 1,000 personas al mes que visitaron el sitio.

Vitak: Comenzaron poniendo dos videos uno al lado del otro y pidiendo a las personas que dijeran cuál era un deepfake.

Groh: Y resulta que la gente es bastante buena en eso, alrededor del 80 por ciento en promedio. Y luego la pregunta fue: «Está bien, entonces son significativamente mejores que el algoritmo en esta tarea en paralelo». Pero, ¿qué pasa con una tarea más difícil, en la que solo muestra un solo video?

Vitak: Comparado individualmente con los videos que usaron para la prueba, el algoritmo fue ligeramente mejor. Las personas identificaban correctamente las falsificaciones profundas entre el 66 y el 72 por ciento de las veces, mientras que el algoritmo principal obtenía el 80 por ciento.

Groh: Ahora, esa es una forma. Pero otra forma de evaluar la comparación, y una forma que tiene más sentido sobre cómo diseñaría sistemas para marcar información errónea y falsificaciones profundas, es el crowdsourcing. Y así, hay una larga historia que muestra cuando las personas no son sorprendentes en una tarea en particular o cuando las personas tienen diferentes experiencias y diferentes conocimientos, cuando agregas sus decisiones a lo largo de una determinada pregunta, en realidad lo haces mejor que los individuos por sí mismos.

Vitak: Y descubrieron que los resultados de la colaboración colectiva en realidad tenían tasas de precisión muy similares a las del mejor algoritmo.

Groh: Y ahora vuelve a haber diferencias, porque depende de qué vídeos estemos hablando. Y resulta que, en algunos de los videos que estaban un poco más borrosos, oscuros y granulados, ahí es donde la IA lo hizo un poco mejor que las personas. Y, ya sabes, tiene sentido que las personas simplemente no tuvieran suficiente información, mientras que la información visual estaba codificada en el algoritmo de IA. Y, como, la granulosidad no es algo que necesariamente importe tanto, simplemente, el algoritmo de IA ve la manipulación, mientras que las personas buscan algo que se desvía de su experiencia normal al mirar a alguien, y cuando es borroso y granulado y oscuro: tu experiencia ya se desvía. Así que es muy difícil saberlo. Pero la cuestión es que, en realidad, la IA no era tan buena en algunas cosas en las que la gente era buena.

Vitak: Una de esas cosas en las que la gente era mejor eran los videos con varias personas. Y eso probablemente se deba a que la IA fue «entrenada» en videos que solo tenían una persona.

Y otra cosa en la que la gente era mucho mejor era en identificar deepfakes cuando los videos contenían gente famosa haciendo cosas extravagantes. (Otra cosa en la que el modelo no fue entrenado). Utilizaron algunos videos de Vladimir Putin y Kim Jong-un haciendo declaraciones provocativas.

Groh: Y resulta que cuando ejecutas el modelo de IA en el video de Vladimir Putin o el video de Kim Jong-un, el modelo de IA dice que es esencialmente muy, muy poco probable que sea un deepfake. Pero estos eran deepfakes. Y son obvios para la gente que eran deepfakes o al menos obvios para mucha gente. Más del 50 por ciento de las personas decían: «Esto es, ya sabes, esto es un deepfake».

Vitak: Por último, también querían experimentar tratando de ver si las predicciones de IA podrían usarse para ayudar a las personas a hacer mejores conjeturas sobre si algo era un deepfake o no.

Entonces, la forma en que lo hicieron fue que las personas hicieran una predicción sobre un video. Luego le dijeron a la gente lo que predijo el algoritmo, junto con un porcentaje de la confianza del algoritmo. Luego le dieron a la gente la opción de cambiar sus respuestas. Y sorprendentemente, este sistema fue más preciso que los humanos solos o el algoritmo solo. Pero, en el lado negativo, a veces el algoritmo influiría incorrectamente en las respuestas de las personas.

Groh: Y por eso no todos ajustan su respuesta. Pero es bastante frecuente que la gente ajuste su respuesta. Y, de hecho, vemos que cuando la IA tiene razón, que es la mayoría de las veces, a las personas también les va mejor. Pero el problema es que cuando la IA se equivoca, a la gente le va peor.

Vitak: Groh ve esto como un problema en parte con la forma en que se presenta la predicción de la IA.

Groh: Entonces, cuando lo presentas simplemente como una predicción, la IA predice un 2 por ciento de probabilidad, entonces, ya sabes, las personas no tienen ninguna forma de introspección de lo que está sucediendo, y simplemente dicen: «Oh, está bien, como el ojos piensa que es real, pero, como, pensé que era falso. Pero supongo que, como, no estoy muy seguro. Así que supongo que lo aceptaré”. Pero el problema es que no es así como tenemos conversaciones como personas. Por ejemplo, si tú y yo estuviéramos tratando de evaluar, ya sabes, si se trata de una falsificación profunda o no, podría decir: «Oh, ¿notaste los ojos? Esos realmente no se ven bien para mí”, y dices: “Oh, no, no, como que, esa persona tiene, como, solo, como, ojos verdes más brillantes de lo normal. Pero eso es totalmente genial”. Pero en el deepfake, como, ya sabes, el espacio de colaboración de IA, simplemente no tienes esta interacción con la IA. Entonces, una de las cosas que sugeriríamos para el desarrollo futuro de estos sistemas es tratar de encontrar formas de explicar por qué la IA está tomando una decisión.

Vitak: Groh tiene varias ideas en mente sobre cómo podría diseñar un sistema de colaboración que también permita a los participantes humanos utilizar mejor la información que obtienen de la IA.

En última instancia, Groh es relativamente optimista acerca de encontrar formas de clasificar y marcar las falsificaciones profundas, y también acerca de cuán influyentes serán las falsificaciones profundas de eventos falsos.

Groh: Y entonces mucha gente sabe «Ver para creer». Lo que mucha gente no sabe es que eso es solo la mitad del aforismo. La segunda mitad del aforismo dice así: “Ver para creer. Pero el sentimiento es la verdad”. Y sentimiento no se refiere a emociones allí. es experiencia Cuando estás experimentando algo, tienes todas las diferentes dimensiones, ya sabes, de lo que está pasando. Cuando solo estás viendo algo, tienes una de las muchas dimensiones. Y esto es solo para sacar esta idea de que, ya sabes, que ver es creer hasta cierto punto. Pero también debemos advertirlo: hay otras cosas más allá de nuestros sentidos visuales que nos ayudan a identificar qué es real y qué es falso.

Vitak: Gracias por su atención. Para Científico americano‘s 60 Second Science, soy Sarah Vitak.

[The above text is a transcript of this podcast.]