Centro sul-coreano usa inteligência artificial para rastrear e remover deepfakes sexuais da internet
Desde 2018, o governo da Coreia do Sul mantém um centro governamental dedicado exclusivamente ao rastreamento e à eliminação de conteúdos sexuais ilícitos que circulam na internet, com atenção especial aos chamados deepfakes, que são imagens ou vídeos de caráter pornográfico produzidos por inteligência artificial ou manipulação digital sem o consentimento das pessoas retratadas. A estrutura funciona em um pequeno escritório no centro de Seul, decorado com faixas de apoio às vítimas de violência sexual, e é composta integralmente por mulheres.
A equipe reúne 23 integrantes e atua sempre a pedido das vítimas. Desde a inauguração, o centro já atendeu 53 mil pessoas e removeu mais de 1 milhão de conteúdos sexuais ilegais da web. A estrutura conta ainda com 17 filiais regionais distribuídas pelo país, que oferecem acompanhamento psicológico e jurídico às pessoas afetadas.
A líder do grupo, Kim Hyojung, explicou à reportagem como funciona o fluxo típico de atendimento. Segundo ela, a maior parte das vítimas procura o centro depois que um familiar ou conhecido avisa que um vídeo ou imagem de conteúdo íntimo está circulando na internet. A partir desse primeiro contato, um programa de inteligência artificial entra em ação para detectar republicações do mesmo material em diferentes plataformas, o que permite à equipe solicitar a remoção tanto em redes sociais quanto em sites pornográficos.
Apesar do trabalho incessante, os obstáculos são frequentes. Kim Hyojung relata que grande parte dos vídeos está hospedada em sites ilegais cujos provedores não respondem aos pedidos de remoção. Nesses casos, a polícia pode intervir para determinar o fechamento da página. Quando o conteúdo está hospedado no exterior, o problema se repete, mas a coordenadora aponta que 80% desses casos envolvem servidores localizados nos Estados Unidos, e que as autoridades norte-americanas costumam colaborar com as solicitações de remoção feitas pelo governo sul-coreano.
A dimensão do problema é reforçada por levantamentos da empresa australiana Security Heroes, que estima que mais da metade das vítimas de deepfakes pornográficos em todo o mundo são sul-coreanas. O centro também registra aumento de casos em todas as faixas etárias, o que evidencia a abrangência do fenômeno no país.
O trabalho de revisar diariamente conteúdos pornográficos, muitas vezes violentos e, em alguns casos, envolvendo pornografia infantil, tem consequências profundas para a saúde emocional das profissionais que compõem a equipe. Uma das integrantes, identificada apenas como Park para preservar seu anonimato como condição para exercer a função, relatou o impacto da atividade no cotidiano das colegas.
Segundo Park, todas as profissionais são afetadas emocional e psicologicamente pelo tipo de material com o qual lidam diariamente. Ela citou casos de colegas que desenvolveram insônia, que passaram a chorar ao se deparar com determinadas publicações ou que perderam o apetite a ponto de pular refeições em razão do desgaste provocado pela rotina de trabalho.
Para lidar com esse cenário, o centro implementou um programa de acompanhamento psicológico contínuo, com consultas individuais realizadas com um psicólogo uma ou duas vezes por mês. Park destaca, porém, que o retorno das vítimas atua como um importante fator de motivação para a equipe. Ela contou que, ao receber mensagens de agradecimento de pessoas afetadas afirmando que o apoio recebido ajudou a retomar a vida cotidiana, sente que pôde contribuir, ainda que de forma modesta, para que essas pessoas superassem uma situação tão difícil.
A atuação do centro sul-coreano mostra como a inteligência artificial pode ser utilizada simultaneamente como ferramenta do problema e da solução. Se por um lado a tecnologia facilita a produção em escala de deepfakes sexuais, por outro ela se torna peça central no rastreamento e na remoção automatizada desses conteúdos, encurtando o tempo de resposta e ampliando a capacidade de atuação de equipes especializadas em diferentes países.
