La nueva tecnología de seguridad infantil de Apple podría dañar a más niños de los que ayuda

Recientemente, Apple lanzó tres nuevas funciones diseñadas para mantener seguros a los niños. Uno de ellos, etiquetado como «Seguridad de la comunicación en los mensajes», escaneará los mensajes de iMessage de personas menores de 13 años para identificar y difuminar imágenes sexualmente explícitas, y alertará a los padres si su hijo abre o envía un mensaje que contiene dicha imagen. Al principio, esto podría sonar como una buena manera de mitigar el riesgo de que los depredadores adultos exploten a los jóvenes. Pero puede causar más daño que bien.

Si bien deseamos que todos los padres quieran mantener seguros a sus hijos, esta no es la realidad para muchos niños. Los jóvenes LGBTQ+, en particular, corren un alto riesgo de violencia y abuso por parte de los padres, tienen el doble de probabilidades que otros de quedarse sin hogar y representan el 30 por ciento del sistema de cuidado de crianza. Además, es más probable que envíen imágenes explícitas como las que Apple busca detectar e informar, en parte debido a la falta de disponibilidad de educación sexual. Reportar el comportamiento de mensajes de texto de los niños a sus padres puede revelar sus preferencias sexuales, lo que puede resultar en violencia o incluso en la falta de vivienda.

Estos daños se magnifican por el hecho de que es poco probable que la tecnología subyacente a esta característica sea particularmente precisa para detectar imágenes explícitas dañinas. Apple, dice, utilizará «aprendizaje automático en el dispositivo para analizar archivos adjuntos de imágenes y determinar si una foto es sexualmente explícita». Se escanearán todas las fotos enviadas o recibidas por una cuenta de Apple de un menor de 13 años y se enviarán notificaciones a los padres si esta cuenta está vinculada a una cuenta de padres designada.

No está claro qué tan bien funcionará este algoritmo ni qué detectará con precisión. Algunos algoritmos de detección de contenido sexualmente explícito marcan el contenido según el porcentaje de piel que se muestra. Por ejemplo, el algoritmo puede marcar una foto de una madre y su hija en trajes de baño en la playa. Si dos jóvenes se envían una foto de una celebridad con poca ropa, es posible que se notifique a sus padres.

La visión por computadora es un problema notoriamente difícil, y los algoritmos existentes, por ejemplo, los que se usan para la detección de rostros, tienen sesgos conocidos, incluido el hecho de que con frecuencia no detectan rostros que no sean blancos. El riesgo de imprecisiones en el sistema de Apple es especialmente alto porque la mayoría de los algoritmos de detección de desnudos publicados académicamente están entrenados en imágenes de adultos. Apple no ha brindado transparencia sobre el algoritmo que están utilizando, por lo que no tenemos idea de qué tan bien funcionará, especialmente para detectar imágenes que los jóvenes toman de sí mismos, probablemente las más preocupantes.

Estos problemas de precisión algorítmica son preocupantes porque corren el riesgo de desalinear las expectativas de los jóvenes. Cuando somos demasiado entusiastas al declarar que el comportamiento es «malo» o «peligroso», incluso al compartir fotos de trajes de baño entre adolescentes, empañamos la capacidad de los jóvenes para detectar cuándo les está sucediendo algo realmente dañino.

De hecho, incluso al tener esta característica, estamos enseñando a los jóvenes que no tienen derecho a la privacidad. Eliminar la privacidad de los jóvenes y el derecho a dar su consentimiento es exactamente lo contrario de lo que sugieren las pautas basadas en evidencia de UNICEF para prevenir la explotación y el abuso sexual infantil en línea y fuera de línea. Además, esta característica no solo corre el riesgo de causar daño, sino que también abre la puerta a intrusiones más amplias en nuestras conversaciones privadas, incluidas las intrusiones por parte del gobierno.

Necesitamos hacerlo mejor cuando se trata de diseñar tecnología para mantener a los jóvenes seguros en línea. Esto comienza con la participación de las propias víctimas potenciales en el diseño de los sistemas de seguridad. Como sugiere un movimiento creciente en torno a la justicia del diseño, involucrar a las personas más afectadas por una tecnología es una forma efectiva de prevenir daños y diseñar soluciones más efectivas. Hasta ahora, los jóvenes no han sido parte de las conversaciones que tienen las empresas de tecnología o los investigadores. Necesitan serlo.

También debemos recordar que la tecnología no puede resolver por sí sola los problemas sociales. Es importante centrar los recursos y los esfuerzos en la prevención de situaciones perjudiciales en primer lugar. Por ejemplo, siguiendo las pautas de UNICEF y las recomendaciones basadas en investigaciones para ampliar los programas integrales de educación sexual basados ​​en el consentimiento que pueden ayudar a los jóvenes a conocer y desarrollar su sexualidad de manera segura.

Este es un artículo de opinión y análisis; las opiniones expresadas por el autor o autores no son necesariamente los de Científico americano.