A Agência Nacional de Proteção de Dados (ANPD) determinou na quarta (12) a suspensão preventiva das transmissões ao vivo do Discord no Brasil, depois que uma adolescente se suicidou em uma live. O prazo para cumprir a determinação vence hoje (17), mas a empresa já pediu prorrogação. O bloqueio tem provocado polêmica, mas traz apenas um lampejo sobre a pouca disposição das redes sociais de resolver um problema sistêmico que elas criaram e que está na essência desses serviços.
Além do Discord, plataformas digitais como Roblox, TikTok, Instagram, Telegram e WhatsApp possuem características como anonimato relativo, comunicação privada, formação de comunidades fechadas, recomendação de conteúdo e mecanismos de viralização. Apesar de suas arquiteturas serem diferentes, tudo isso dificulta a supervisão adulta do que crianças e adolescentes fazem online.
Nesse sentido, a suspensão das lives funciona como uma medida emergencial necessária, mas não resolve o verdadeiro problema, que é estrutural. Representantes do próprio Discord disseram que, com o bloqueio, os criminosos simplesmente migrarão para outro serviço, e que o grupo que coagiu a menina de 13 anos a se matar se organizou em outras redes.
Isso sugere que regular uma ou outra plataforma digital nunca será suficiente, pois as ameaças que elas embutem estão disseminadas, em algum grau, em todos esses serviços. Medidas razoáveis, porém enérgicas, devem ir além de buscar saber qual tecnologia é perigosa. O que deve ser considerado é qual arquitetura cria um risco específico, quem deve ser responsável por mitigá-lo e como isso deve ser feito.
O fato de um problema ser difícil de resolver não nos permite ignorá-lo. Pelo contrário, isso exige uma ação conjunta e vigorosa da sociedade em busca de uma solução real, fugindo dos tradicionais discursos corporativos inócuos. E qualquer que seja a solução, ela exigirá mudanças estruturais nas redes sociais.
Veja esse artigo em vídeo:
O caso que deflagrou essas ações aconteceu no dia 22 de julho. A adolescente, moradora de Naviraí (MS), foi induzida por outros jovens, durante uma live restrita a quem tinha convite, a atos de automutilação, que culminaram na sua morte. A sala permaneceu no ar por quase duas horas antes de ser encerrada, após notificação da polícia. Cinco menores foram apreendidos e um homem de 18 anos foi preso.
A ANPD determinou a suspensão preventiva das lives e de recursos de vídeo do Discord, não do serviço inteiro. A medida vigorará até que a empresa comprove ter implantado proteções efetivas para crianças e adolescentes, diante de episódios de violência, assédio e indução à automutilação ou ao suicídio, sob pena de multas que podem chegar a R$ 50 milhões por infração.
- Assine gratuitamente minha newsletter sobre IA, experiência do cliente, mídia e transformação digital
- Inscreva-se no meu podcast (escolha a plataforma): Spotify, Deezer, Apple Podcasts ou Soundcloud
O Discord pediu a revogação da medida e contestou a competência da ANPD para determinar a suspensão, classificando-a como prematura e rebatendo a ideia de omissão deliberada. A empresa afirma que já adotava medidas de segurança e que o caso envolveu atividades criminosas também em outras plataformas. Disse ainda que está tomando providências para cumprir a ordem, mas “sob protesto”.
Segundo a empresa, o pedido decorre da complexidade de bloquear as transmissões apenas no Brasil. Ela afirma que três dias úteis não são suficientes para implementar e testar uma mudança dessa magnitude, e que a ANPD não forneceu diretrizes técnicas suficientemente claras sobre o que deveria ser bloqueado. Os representantes pediram, então, 15 dias úteis para implantação e outros 15 para avaliação de seus resultados.
Há ainda outro aspecto fundamental nesse caso que exige atenção. Os próprios representantes do Discord admitiram que havia indícios de risco na live, mas eles não foram suficientes para disparar um “alerta confiável”.
Inteligência artificial insuficiente
Plataformas como o Discord possuem sistemas de inteligência artificial para identificar riscos em conversas. Mas, na live em que a adolescente se matou, a IA atribuiu apenas 0,12 ponto, abaixo do 0,95 necessário para enviá-la para revisão humana. Segundo a empresa, o servidor era novo e pequeno, o que dificultou a detecção.
No sábado (15), o vice-presidente de Segurança e Confiança do Discord, Jud Hoffman, disse, ao jornal “O Globo”, que a resposta da plataforma falhou. “Não fomos rápidos o suficiente, mas estamos sempre trabalhando para melhorar esses modelos e os esforços de segurança”, admitiu.
Isso desmonta a narrativa da indústria tecnológica de que basta criar sistemas cada vez melhores de IA para detecção automática e moderação para resolver o problema. Essa confiança excessiva em sistemas limitados representa um risco aos usuários.
Precisamos saber se aceitamos as decisões de uma plataforma sobre remover um conteúdo potencialmente perigoso e preservar milhões de interações legítimas. Falsos positivos são inconvenientes, mas falsos negativos podem ser fatais.
Simplesmente aumentar a sensibilidade do sistema pode criar uma espécie de censura algorítmica, com bloqueios injustificados e vigilância excessiva. Mas o problema pode ser mitigado com uma extensa avaliação humana dos conteúdos sinalizados pelos robôs, liberando o que for legítimo.
Isso exigiria um custoso exército de avaliadores, mas é o preço a se pagar para oferecer um serviço que cria riscos elevados a seus usuários. A segurança digital é um problema de decisão, e não apenas de tecnologia.
Na entrevista, Hoffman disse que “o verdadeiro sucesso é deter os grupos extremistas completamente, e não apenas expulsá-los do Discord”. De fato, seria lindo se todas as pessoas usassem as plataformas digitais de maneira cândida. Mas a proposta implica em erradicar a maldade na raça humana, o que é infinitamente mais difícil que bloquear recursos em sistemas.
Sem isso, casos como esse continuarão acontecendo. A IA não falhou por não ser competente o bastante para ver o risco, mas porque alguém definiu que interromper uma violência em andamento exigia mais evidências do que ela era capaz de fornecer.
Esse caso está sendo o primeiro grande teste do ECA Digital, que vale desde o dia 17 de março. A sociedade precisa decidir se uma empresa que não consegue identificar e intervir a tempo em uma live de alto risco deve ser autorizada a oferecer esse recurso a crianças e adolescentes.
