segurança digital

Proibição de lives no Discord esconde um problema sistêmico das redes sociais

By | Tecnologia | No Comments

A Agência Nacional de Proteção de Dados (ANPD) determinou na quarta (12) a suspensão preventiva das transmissões ao vivo do Discord no Brasil, depois que uma adolescente se suicidou em uma live. O prazo para cumprir a determinação vence hoje (17), mas a empresa já pediu prorrogação. O bloqueio tem provocado polêmica, mas traz apenas um lampejo sobre a pouca disposição das redes sociais de resolver um problema sistêmico que elas criaram e que está na essência desses serviços.

Além do Discord, plataformas digitais como Roblox, TikTok, Instagram, Telegram e WhatsApp possuem características como anonimato relativo, comunicação privada, formação de comunidades fechadas, recomendação de conteúdo e mecanismos de viralização. Apesar de suas arquiteturas serem diferentes, tudo isso dificulta a supervisão adulta do que crianças e adolescentes fazem online.

Nesse sentido, a suspensão das lives funciona como uma medida emergencial necessária, mas não resolve o verdadeiro problema, que é estrutural. Representantes do próprio Discord disseram que, com o bloqueio, os criminosos simplesmente migrarão para outro serviço, e que o grupo que coagiu a menina de 13 anos a se matar se organizou em outras redes.

Isso sugere que regular uma ou outra plataforma digital nunca será suficiente, pois as ameaças que elas embutem estão disseminadas, em algum grau, em todos esses serviços. Medidas razoáveis, porém enérgicas, devem ir além de buscar saber qual tecnologia é perigosa. O que deve ser considerado é qual arquitetura cria um risco específico, quem deve ser responsável por mitigá-lo e como isso deve ser feito.

O fato de um problema ser difícil de resolver não nos permite ignorá-lo. Pelo contrário, isso exige uma ação conjunta e vigorosa da sociedade em busca de uma solução real, fugindo dos tradicionais discursos corporativos inócuos. E qualquer que seja a solução, ela exigirá mudanças estruturais nas redes sociais.


Veja esse artigo em vídeo:


O caso que deflagrou essas ações aconteceu no dia 22 de julho. A adolescente, moradora de Naviraí (MS), foi induzida por outros jovens, durante uma live restrita a quem tinha convite, a atos de automutilação, que culminaram na sua morte. A sala permaneceu no ar por quase duas horas antes de ser encerrada, após notificação da polícia. Cinco menores foram apreendidos e um homem de 18 anos foi preso.

A ANPD determinou a suspensão preventiva das lives e de recursos de vídeo do Discord, não do serviço inteiro. A medida vigorará até que a empresa comprove ter implantado proteções efetivas para crianças e adolescentes, diante de episódios de violência, assédio e indução à automutilação ou ao suicídio, sob pena de multas que podem chegar a R$ 50 milhões por infração.

O Discord pediu a revogação da medida e contestou a competência da ANPD para determinar a suspensão, classificando-a como prematura e rebatendo a ideia de omissão deliberada. A empresa afirma que já adotava medidas de segurança e que o caso envolveu atividades criminosas também em outras plataformas. Disse ainda que está tomando providências para cumprir a ordem, mas “sob protesto”.

Segundo a empresa, o pedido decorre da complexidade de bloquear as transmissões apenas no Brasil. Ela afirma que três dias úteis não são suficientes para implementar e testar uma mudança dessa magnitude, e que a ANPD não forneceu diretrizes técnicas suficientemente claras sobre o que deveria ser bloqueado. Os representantes pediram, então, 15 dias úteis para implantação e outros 15 para avaliação de seus resultados.

Há ainda outro aspecto fundamental nesse caso que exige atenção. Os próprios representantes do Discord admitiram que havia indícios de risco na live, mas eles não foram suficientes para disparar um “alerta confiável”.

 

Inteligência artificial insuficiente

Plataformas como o Discord possuem sistemas de inteligência artificial para identificar riscos em conversas. Mas, na live em que a adolescente se matou, a IA atribuiu apenas 0,12 ponto, abaixo do 0,95 necessário para enviá-la para revisão humana. Segundo a empresa, o servidor era novo e pequeno, o que dificultou a detecção.

No sábado (15), o vice-presidente de Segurança e Confiança do Discord, Jud Hoffman, disse, ao jornal “O Globo”, que a resposta da plataforma falhou. “Não fomos rápidos o suficiente, mas estamos sempre trabalhando para melhorar esses modelos e os esforços de segurança”, admitiu.

Isso desmonta a narrativa da indústria tecnológica de que basta criar sistemas cada vez melhores de IA para detecção automática e moderação para resolver o problema. Essa confiança excessiva em sistemas limitados representa um risco aos usuários.

Precisamos saber se aceitamos as decisões de uma plataforma sobre remover um conteúdo potencialmente perigoso e preservar milhões de interações legítimas. Falsos positivos são inconvenientes, mas falsos negativos podem ser fatais.

Simplesmente aumentar a sensibilidade do sistema pode criar uma espécie de censura algorítmica, com bloqueios injustificados e vigilância excessiva. Mas o problema pode ser mitigado com uma extensa avaliação humana dos conteúdos sinalizados pelos robôs, liberando o que for legítimo.

Isso exigiria um custoso exército de avaliadores, mas é o preço a se pagar para oferecer um serviço que cria riscos elevados a seus usuários. A segurança digital é um problema de decisão, e não apenas de tecnologia.

Na entrevista, Hoffman disse que “o verdadeiro sucesso é deter os grupos extremistas completamente, e não apenas expulsá-los do Discord”. De fato, seria lindo se todas as pessoas usassem as plataformas digitais de maneira cândida. Mas a proposta implica em erradicar a maldade na raça humana, o que é infinitamente mais difícil que bloquear recursos em sistemas.

Sem isso, casos como esse continuarão acontecendo. A IA não falhou por não ser competente o bastante para ver o risco, mas porque alguém definiu que interromper uma violência em andamento exigia mais evidências do que ela era capaz de fornecer.

Esse caso está sendo o primeiro grande teste do ECA Digital, que vale desde o dia 17 de março. A sociedade precisa decidir se uma empresa que não consegue identificar e intervir a tempo em uma live de alto risco deve ser autorizada a oferecer esse recurso a crianças e adolescentes.

 

IA redefine a cibersegurança diante de invasões inevitáveis

By | Tecnologia | No Comments

Há um ditado infame na cibersegurança que diz que existem dois tipos de empresas: as que já foram invadidas e as que acham que ainda não foram invadidas. Só acham!

Com a explosão da inteligência artificial, as equipes de defesa de sistemas ficaram mais pressionadas. Mas supor que esse seja o único problema simplifica perigosamente o cenário atual, que dá a essa anedota uma nova dimensão.

Não dá mais para achar que o sucesso em cibersegurança se medirá pela expectativa de nunca ser invadido. De agora em diante, a eficiência dependerá da capacidade de lidar bem com as consequências de um ataque.

Essa foi uma das mensagens da Conferência de Segurança e Gestão de Risco do Gartner, que aconteceu nos dias 4 e 5 de agosto, em São Paulo. A IA já não ameaça apenas ao criar códigos maliciosos ou potencializar ataques de engenharia social. Agora, agentes de IA já são capazes de explorar vulnerabilidades, identidades e credenciais para acessar sistemas.

Foi o que aconteceu em meados de julho, quando um agente movido por modelos da OpenAI (criadora do ChatGPT) invadiu a Hugging Face. Durante uma avaliação de segurança, ele escapou do ambiente de testes, explorou falhas e acessou credenciais que lhe permitiram avançar pela infraestrutura da plataforma.

Nesse cenário, em vez de nos preocuparmos com como impedir que invadam nossa empresa, precisamos perguntar o que precisa continuar funcionando mesmo em um ambiente hostil.


Veja esse artigo em vídeo:


Segundo o Gartner, 84% dos executivos veem a cibersegurança como um risco para os negócios, enquanto 98% acreditam que as ameaças cibernéticas aumentarão nos próximos dois anos. Isso combina com conclusões do Fórum Econômico Mundial, que indicaram em janeiro que 87% dos líderes veem as vulnerabilidades da IA como o risco de cibersegurança que mais cresceu.

“Se o objetivo passa a ser limitar o impacto, manter as operações críticas e se recuperar rapidamente, então a mitigação torna-se funcionalmente equivalente à prevenção”, afirma Oscar Isaka, diretor analista sênior do Gartner. “Ao contrário da segurança absoluta, a resiliência pode ser testada, praticada, medida e aprimorada ao longo do tempo”, acrescenta.

Isso ganha ainda mais importância com os agentes de IA se transformando em uma “força de trabalho invisível” nas empresas. Longe de serem ferramentas inertes, eles pesquisam, produzem código, acionam sistemas e movimentam dados com autonomia crescente. Por isso, quando erram ou são manipulados, fazem isso em velocidade de máquina, podendo causar grandes danos antes que alguém perceba.

Um chatbot responde ao que lhe pedimos, enquanto um agente toma decisões e pode executar ações sem confirmação humana a cada etapa. Nessa autonomia, nascem os problemas mais delicados, como permissões mal calibradas e decisões inesperadas.

O Gartner projeta que as empresas terão até 80 vezes mais identidades de máquina do que humanas. “Os invasores são como a água, geralmente seguindo o caminho mais fácil para entrar”, explica Charlie Winckless, vice-presidente analista do Gartner. “Muitas vezes, esse caminho é a identidade.”

A questão deixa de ser “quem é você?” e passa a ser “quem ou o que está agindo em seu nome, com qual autorização e para fazer o quê?”

 

Milhares de “novos funcionários”

Durante décadas, a segurança da informação tentou controlar o perímetro da organização. Agora, a própria empresa cria sistemas, conexões e agentes mais rapidamente do que consegue inventariá-los. A ironia é que a indústria vende automação para acelerar essa adoção, enquanto oferece novas camadas de controle para conter os riscos que essa mesma aceleração produz.

“Se você é uma organização com 1.000 pessoas, rapidamente passa a ser uma com 6.000, porque, em média, cada funcionário utilizará cinco agentes diferentes”, adverte Paul Furtado, vice-presidente analista do Gartner. Logo, é preciso aplicar o princípio do “menor privilégio” também aos agentes, para que nenhum deles atue além do escopo pretendido.

A empresa que remove todos os controles para adotar IA não está inovando, e sim se curvando à pressão para usar IA a qualquer custo. A alternativa é tratar segurança como desenho de ambientes de experimentação, não como veto. A meta é construir uma “fricção inteligente”, eliminando barreiras que não protejam e mantendo as que evitem que a velocidade vire imprudência.

Para isso, a inovação em segurança precisa deixar de ser tratada como um trabalho extra, espremido entre incidentes e urgências. Os líderes devem reservar tempo para experimentar, desenvolvendo competências e resiliência. Inovar, nesse caso, não pode ser um projeto paralelo, e sim parte do trabalho de proteger a organização.

A vantagem competitiva, portanto, não estará em usar IA sem limites, mas em saber quais limites permitem que ela seja adotada com segurança e continuidade. Nessa nova realidade, governar a velocidade pode ser tão estratégico quanto acelerar.

Uma empresa responsável não colocaria milhares de pessoas para trabalhar sem função, supervisão, limites de acesso ou possibilidade de desligamento. Da mesma forma, precisamos exigir esse controle dos agentes de IA. Eles podem merecer, afinal, confiança, mas apenas se as empresas estiverem conscientes e preparadas para confiar a eles decisões que podem afetar seu próprio futuro.

 

Avatares da plataforma digital Roblox, que implantou novas medidas de segurança - Foto: reprodução

Revolta no Roblox mostra que a proteção digital infantil exige mais do que barreiras virtuais

By | Tecnologia | No Comments

O Roblox é uma das plataformas de jogos mais populares entre crianças no mundo, com 151 milhões de usuários, a maioria abaixo dos 13 anos. Nas últimas semanas, implantou restrições em seu chat e exigiu verificação facial para tentar proteger seus usuários contra predadores digitais. Mas ironicamente essas medidas de segurança despertaram uma revolta visceral nas crianças, como se a proteção fosse uma afronta à sua liberdade de brincar, com protestos no próprio ambiente.

Longe de se limitar a um problema em um jogo, isso reflete dilemas de uma sociedade conectada. Casos trágicos, como o suicídio do jovem americano Ethan Dallas após sofrer extorsão iniciada no Roblox, mostram que as consequências do que ocorre nesses ambientes virtuais transbordam, muitas vezes de forma irreversível, para o mundo físico e para a estrutura familiar.

Os protestos parecem espontâneos, mas a forma coordenada como surgiram, com cartazes cheios de erros exagerados de grafia e linguagem infantil, levanta dúvidas. Não se pode descartar a hipótese de que adultos mal-intencionados, que se beneficiam da falta de regulação, estejam manipulando os menores para manter o acesso facilitado.

Embora as mudanças pareçam robustas na teoria, a eficácia dessas barreiras é questionável diante da criatividade humana para burlar regras. A tecnologia, por mais avançada que seja, frequentemente corre atrás do prejuízo, tentando remediar problemas que o próprio design da plataforma permitiu.

Resta a dúvida se tais ações vieram para resolver um problema estrutural ou apenas como uma resposta paliativa para conter uma crise de reputação. O fenômeno observado no Roblox é um microcosmo do que acontece em diversas redes sociais, no qual empresas aplicam correções superficiais para aplacar a opinião pública, enquanto a arquitetura que permite o risco permanece intacta e lucrativa.


Veja esse artigo em vídeo:


Nesse universo, crianças são expostas a riscos graves, como o aliciamento sexual disfarçado de brincadeira e a troca de favores virtuais, conhecidos como “jobs”. Eles começam como uma interação inocente em busca de moedas para comprar itens para um avatar, mas podem degenerar rapidamente para situações de abuso e exploração, em que a fronteira entre o lúdico e o criminoso se dissolve pelo aproveitamento de fragilidades, carências e imaturidade emocional típicas da infância.

Essa dinâmica não é exclusiva do Roblox, mas fica dramática ali pela natureza imersiva da plataforma. Diferentemente de um feed de uma rede social, a interação simula presença física e contato direto, o que potencializa a vulnerabilidade. A sensação de intimidade criada pelo avatar pode baixar as defesas da criança de uma maneira que um texto ou uma foto em outras redes talvez não conseguisse.

O coordenador do curso de Direito da Escola Superior de Propaganda e Marketing (ESPM), Marcelo Crespo, explica que o Marco Civil da Internet acaba protegendo as plataformas contra a responsabilização automática pelo conteúdo de terceiros. “Mas ele não as blinda contra falhas de segurança, governança e desenho do serviço”, afirma, pois descuidos nessa arquitetura podem gerar consequências jurídicas.

A empresa argumenta que a captura de criminosos é dever do Estado, uma defesa comum entre big techs. No entanto, Pedro Teberga, professor da Faculdade Einstein e especialista em negócios digitais, contesta essa visão de neutralidade. “Ao gamificar a socialização, reduzir fricções de contato e permitir mundos criados por usuários com moderação descentralizada, a plataforma facilita estratégias de aproximação gradual típicas do aliciamento”, explica. Nesse sentido, ela atua como arquiteta do espaço e não pode transferir integralmente a responsabilidade ao Estado.

Outro ponto crítico é a coleta massiva de dados biométricos de menores para a verificação de idade. Dados biométricos não podem ser alterados como uma senha. Isso gera um passivo de segurança gigantesco e normaliza, desde cedo, a vigilância constante como pedágio para a vida digital. O risco de vazamento ou uso indevido dessas informações no futuro é uma ameaça que não pode ser ignorada.

A empresa informa que a inteligência artificial está no centro dessas medidas. Mas há questionamentos se ela realmente pode sanear esse ambiente.

 

O limite da tecnologia e o papel humano

A IA tem vantagens claras, identificando padrões, mapeando comportamentos suspeitos e agindo em escala, mas suas limitações são evidentes. “A IA atual é eficiente para identificar padrões comportamentais repetitivos, mas ainda é limitada para compreender nuances culturais, gírias locais e ambiguidades de linguagem antes que o dano ocorra”, alerta Teberga. O risco é agir sempre depois do estrago feito.

Talvez um erro fundamental seja classificar a plataforma apenas como um jogo, quando, na verdade, é uma rede social complexa. Crespo nos lembra que “quando você gamifica a sociabilidade, você também gamifica o risco”. Ao transformar a interação humana em mecânica de jogo, cria-se um terreno fértil para manipulações emocionais que escapam aos filtros tradicionais de segurança.

Muitos pais e educadores veem o Roblox como um “Lego digital” inofensivo, mas essa leitura precisa mudar, dando lugar a controles parentais, acompanhamento ativo e diálogo constante. Ensinar crianças a reconhecer desconforto e mudanças sutis de comportamento é tão importante quanto qualquer ferramenta técnica.

A nova legislação australiana que bane redes sociais para menores de 16 anos não proíbe o Roblox diretamente, mas força a empresa a endurecer suas regras para evitar sanções no país e, por consequência, em outros mercados. Isso prova que uma pressão regulatória bem desenhada pode obrigar as gigantes da tecnologia a priorizarem a segurança em detrimento do engajamento irrestrito.

O Roblox evidencia que, quanto mais lúdico for um ambiente, maior a percepção de segurança e menor a vigilância. Mas a sociedade precisa entender que as plataformas digitais não são neutras. Todas são criadas para engajar, monetizar e reter usuários.

Este caso revela como tecnologia, mercado e infância podem se entrelaçar de forma perigosa. Precisamos discutir o dever de cuidado, limites da automação e o papel ativo de plataformas na construção de ambientes digitais mais saudáveis. Proteger crianças não é apenas bloquear chats ou treinar algoritmos. Temos que repensar os espaços digitais, para quem eles existem e quais valores estamos normalizando desde cedo.