Recientemente, un reportaje del Centro Pulitzer reveló una grave falla en los filtros de moderación de contenido de Meta, que permitió la circulación de imágenes de abuso infantil generadas con inteligencia artificial (IA) en Instagram. Los investigadores descubrieron al menos una docena de perfiles que compartían abiertamente imágenes sexualizadas de niños, niñas y adolescentes creadas por IA. Estas cuentas, con cientos de miles de seguidores, presentaban patrones similares: personajes de apariencia infantil, con cuerpos voluptuosos, pechos generosos, ojos azules y en contextos sexualizados como bikinis o lencería.

Aunque las imágenes no eran de modelos adultas, sino de representaciones de menores, la investigación no pudo determinar si pertenecían a una misma red o si estaban basadas en personas reales. Además, los investigadores descubrieron que algunos de estos perfiles redirigían a los seguidores hacia plataformas de suscripción como Patreon y Fanvue, donde se comparte contenido explícito. En otros casos, los usuarios eran llevados a grupos de WhatsApp y Telegram, donde se intercambiaban consejos sobre cómo crear imágenes ilícitas con IA y material de abuso infantil real.

Meta, tras ser contactada por los periodistas, eliminó las cuentas reportadas, pero no respondió a preguntas sobre el funcionamiento de sus sistemas de moderación de contenido. A pesar de esto, la empresa emitió una declaración asegurando que tenía políticas estrictas contra la sexualización infantil, tanto real como generada por IA. Según Meta, también eliminan contenido inofensivo relacionado con la apariencia de menores que implique sexualización.

Sin embargo, los grupos de WhatsApp siguieron activos por un tiempo, y los investigadores pudieron acceder a uno con 150 miembros. En los chats, los usuarios se quejaban de las políticas de Meta y defendían que el contenido generado por IA no causaba daño. «Lo que hacemos no es dañino», comentó uno de ellos, minimizando la gravedad del abuso. Incluso un miembro expresó: «No quiero que nadie de mi vida real sepa que estoy haciendo esto».

Los expertos apuntan a las «lagunas técnicas» en los sistemas de moderación de Meta como la causa de este problema. Aunque la empresa tiene reglas claras contra el contenido que sexualiza a los niños, los sistemas automatizados de monitoreo de contenido no están diseñados para detectar con precisión imágenes generadas por IA, lo que permite que los ciberdelincuentes exploten estas vulnerabilidades. Esto se debe, en parte, a la dificultad de entrenar los sistemas para identificar patrones de abuso infantil sin recurrir a bases de datos de contenido ilegal, lo que plantea un desafío significativo en la moderación automatizada.