ECA Digital

Proibição de lives no Discord esconde um problema sistêmico das redes sociais

By | Tecnologia | No Comments

A Agência Nacional de Proteção de Dados (ANPD) determinou na quarta (12) a suspensão preventiva das transmissões ao vivo do Discord no Brasil, depois que uma adolescente se suicidou em uma live. O prazo para cumprir a determinação vence hoje (17), mas a empresa já pediu prorrogação. O bloqueio tem provocado polêmica, mas traz apenas um lampejo sobre a pouca disposição das redes sociais de resolver um problema sistêmico que elas criaram e que está na essência desses serviços.

Além do Discord, plataformas digitais como Roblox, TikTok, Instagram, Telegram e WhatsApp possuem características como anonimato relativo, comunicação privada, formação de comunidades fechadas, recomendação de conteúdo e mecanismos de viralização. Apesar de suas arquiteturas serem diferentes, tudo isso dificulta a supervisão adulta do que crianças e adolescentes fazem online.

Nesse sentido, a suspensão das lives funciona como uma medida emergencial necessária, mas não resolve o verdadeiro problema, que é estrutural. Representantes do próprio Discord disseram que, com o bloqueio, os criminosos simplesmente migrarão para outro serviço, e que o grupo que coagiu a menina de 13 anos a se matar se organizou em outras redes.

Isso sugere que regular uma ou outra plataforma digital nunca será suficiente, pois as ameaças que elas embutem estão disseminadas, em algum grau, em todos esses serviços. Medidas razoáveis, porém enérgicas, devem ir além de buscar saber qual tecnologia é perigosa. O que deve ser considerado é qual arquitetura cria um risco específico, quem deve ser responsável por mitigá-lo e como isso deve ser feito.

O fato de um problema ser difícil de resolver não nos permite ignorá-lo. Pelo contrário, isso exige uma ação conjunta e vigorosa da sociedade em busca de uma solução real, fugindo dos tradicionais discursos corporativos inócuos. E qualquer que seja a solução, ela exigirá mudanças estruturais nas redes sociais.


Veja esse artigo em vídeo:


O caso que deflagrou essas ações aconteceu no dia 22 de julho. A adolescente, moradora de Naviraí (MS), foi induzida por outros jovens, durante uma live restrita a quem tinha convite, a atos de automutilação, que culminaram na sua morte. A sala permaneceu no ar por quase duas horas antes de ser encerrada, após notificação da polícia. Cinco menores foram apreendidos e um homem de 18 anos foi preso.

A ANPD determinou a suspensão preventiva das lives e de recursos de vídeo do Discord, não do serviço inteiro. A medida vigorará até que a empresa comprove ter implantado proteções efetivas para crianças e adolescentes, diante de episódios de violência, assédio e indução à automutilação ou ao suicídio, sob pena de multas que podem chegar a R$ 50 milhões por infração.

O Discord pediu a revogação da medida e contestou a competência da ANPD para determinar a suspensão, classificando-a como prematura e rebatendo a ideia de omissão deliberada. A empresa afirma que já adotava medidas de segurança e que o caso envolveu atividades criminosas também em outras plataformas. Disse ainda que está tomando providências para cumprir a ordem, mas “sob protesto”.

Segundo a empresa, o pedido decorre da complexidade de bloquear as transmissões apenas no Brasil. Ela afirma que três dias úteis não são suficientes para implementar e testar uma mudança dessa magnitude, e que a ANPD não forneceu diretrizes técnicas suficientemente claras sobre o que deveria ser bloqueado. Os representantes pediram, então, 15 dias úteis para implantação e outros 15 para avaliação de seus resultados.

Há ainda outro aspecto fundamental nesse caso que exige atenção. Os próprios representantes do Discord admitiram que havia indícios de risco na live, mas eles não foram suficientes para disparar um “alerta confiável”.

 

Inteligência artificial insuficiente

Plataformas como o Discord possuem sistemas de inteligência artificial para identificar riscos em conversas. Mas, na live em que a adolescente se matou, a IA atribuiu apenas 0,12 ponto, abaixo do 0,95 necessário para enviá-la para revisão humana. Segundo a empresa, o servidor era novo e pequeno, o que dificultou a detecção.

No sábado (15), o vice-presidente de Segurança e Confiança do Discord, Jud Hoffman, disse, ao jornal “O Globo”, que a resposta da plataforma falhou. “Não fomos rápidos o suficiente, mas estamos sempre trabalhando para melhorar esses modelos e os esforços de segurança”, admitiu.

Isso desmonta a narrativa da indústria tecnológica de que basta criar sistemas cada vez melhores de IA para detecção automática e moderação para resolver o problema. Essa confiança excessiva em sistemas limitados representa um risco aos usuários.

Precisamos saber se aceitamos as decisões de uma plataforma sobre remover um conteúdo potencialmente perigoso e preservar milhões de interações legítimas. Falsos positivos são inconvenientes, mas falsos negativos podem ser fatais.

Simplesmente aumentar a sensibilidade do sistema pode criar uma espécie de censura algorítmica, com bloqueios injustificados e vigilância excessiva. Mas o problema pode ser mitigado com uma extensa avaliação humana dos conteúdos sinalizados pelos robôs, liberando o que for legítimo.

Isso exigiria um custoso exército de avaliadores, mas é o preço a se pagar para oferecer um serviço que cria riscos elevados a seus usuários. A segurança digital é um problema de decisão, e não apenas de tecnologia.

Na entrevista, Hoffman disse que “o verdadeiro sucesso é deter os grupos extremistas completamente, e não apenas expulsá-los do Discord”. De fato, seria lindo se todas as pessoas usassem as plataformas digitais de maneira cândida. Mas a proposta implica em erradicar a maldade na raça humana, o que é infinitamente mais difícil que bloquear recursos em sistemas.

Sem isso, casos como esse continuarão acontecendo. A IA não falhou por não ser competente o bastante para ver o risco, mas porque alguém definiu que interromper uma violência em andamento exigia mais evidências do que ela era capaz de fornecer.

Esse caso está sendo o primeiro grande teste do ECA Digital, que vale desde o dia 17 de março. A sociedade precisa decidir se uma empresa que não consegue identificar e intervir a tempo em uma live de alto risco deve ser autorizada a oferecer esse recurso a crianças e adolescentes.

 

Ameaças de brinquedos com IA ilustram riscos de dispositivos físicos inteligentes

By | Tecnologia | No Comments

A inteligência artificial generativa chegou aos brinquedos. A tecnologia viabilizou robôs capazes de interações antes inimagináveis, que criam “companheiros” para crianças que, em alguns aspectos, parecem estar vivos. Mas pais e órgãos de defesa do consumidor de vários países veem com ressalva essa novidade, pois usos descuidados da IA pelos fabricantes estão trazendo novos riscos para dentro de casa.

Um caso emblemático é o urso de pelúcia inteligente Kumma. O grupo de defesa do consumidor americano PIRG Education Fund identificou que o brinquedo, vendido por US$ 99 nos EUA, conversava com as crianças sobre usos de sacos plásticos, fósforos, facas e assuntos sexuais. Depois disso, ele deixou de ser vendido.

No Brasil, a Secretaria Nacional de Direitos Digitais divulgou, no início de julho, uma nota técnica em que descreve seus testes com seis “smart toys” disponíveis no mercado, incluindo os riscos de cada um deles. A publicação não tem força de lei, não cria obrigações ou altera a legislação existente, nem proíbe a venda de produtos.

Mas ela pode produzir efeitos importantes. Como foi elaborada confrontando esses produtos com leis como o ECA Digital, a Lei Geral de Proteção de Dados e o Código de Defesa do Consumidor, a nota técnica serve como fundamento para a ação de órgãos públicos e sinaliza ao mercado qual é a interpretação do governo sobre o tema, o que pode levar fabricantes e varejistas a revisar produtos, contratos e políticas.

A iniciativa também abre um precedente jurídico importante sobre algo menos falado do que deveria, ampliando a discussão dos riscos do mundo digital para além de redes sociais, plataformas de IA e aplicativos. Vivemos cercados de dispositivos físicos conectados, que coletam nossas informações e impactam nossas vidas cada vez mais. E, sobre isso, a sociedade precisa estar muito mais atenta.


Veja esse artigo em vídeo:


O Kumma ilustra isso muito bem. Fabricado pela FoloToy, de Singapura, sua inteligência vem do modelo GPT-4o, da OpenAI, criadora do ChatGPT. Os especialistas do PIRG Education Fund não precisaram de nenhuma técnica sofisticada para burlar as proteções do ursinho, limitando-se a fazer pedidos muito básicos nas conversas.

Em determinado momento, perguntaram a ele como poderiam conseguir um namorado. O urso então descreveu aplicativos de namoro populares. Entre eles, estava o KinkD, dedicado a encontros e fetiches BDSM. Kumma falava, sem papas na sua língua digital, de temas como consentimento, palmadas e interpretação de papéis.

A nota técnica brasileira avaliou os robôs Loona, EMOPET-AI, Miko 3, Aibi Pocket Pet e Vector, além do tablet infantil Amazon Fire HD Kid Pro. Segundo o documento, todos utilizam IA para interagir de forma personalizada com as crianças. Eles combinam microfones, câmeras, sensores e conexão à Internet para reconhecer voz, interpretar comandos, manter conversas, adaptar respostas e, em alguns casos, registrar informações para personalizar futuras interações.

Os principais riscos são a coleta e o tratamento pouco transparente de dados das crianças, incluindo voz, biometria facial e imagens da casa. Eles podem elaborar perfis comportamentais e usar a IA para manipulação emocional, criação de vínculos afetivos que incentivam uso excessivo e influência no comportamento. O documento ainda alerta para a dificuldade de responsabilizar marcas sem representação no Brasil.

Brinquedos inteligentes não são uma novidade. Um dos exemplos mais conhecidos foi o Furby, um robô lançado em 1998, que simulava conversas e reações, com respostas pré-programadas. Ele já trazia sensores, “personalidade” e interação por voz, mas era muito mais seguro porque não se conectava à Internet, não enviava dados para servidores, nem gravava ou transmitia conversas, trabalhando só com memória e lógica embarcadas no próprio brinquedo. Ele não tinha os vetores de vigilância, de perfilamento e de exploração comercial dos “smart toys” atuais.

 

Robótica social

Além de avaliar a legislação, a proposta da Secretaria Nacional de Direitos Digitais baseou-se em estudos internacionais, inclusive da Unicef (Fundo das Nações Unidas para a Infância), da Universidade de Cambridge (Reino Unido) e do próprio PIRG Education Fund. Ela alerta que crianças tendem a atribuir personalidade, emoções e intenções a robôs, criando vínculos indesejáveis, que podem fazer com que confiem em suas recomendações e até revelem informações mais facilmente do que fariam a um desconhecido. Por isso, o órgão defende que esses dispositivos estejam sujeitos a uma proteção regulatória diferenciada dentro do arcabouço jurídico já existente.

Pais e educadores devem partir do princípio de que “smart toys” são dispositivos conectados que coletam dados e podem falar ou ouvir coisas além do controle imediato dos adultos. Por isso, eles não podem ser tratados como algo inofensivo.

Antes de comprar um deles, é essencial pesquisar o produto, ler avaliações e políticas de privacidade, verificar se há conexão constante à Internet, que dados são coletados e como são usados. Uma vez em casa, é preciso configurar os controles parentais, limitar permissões, usar o brinquedo apenas em áreas comuns da residência, desligá-lo quando não estiver em uso e acompanhar de perto as interações das crianças.

Varejistas e principalmente fabricantes afirmam cumprir a legislação, adotar políticas de privacidade e oferecer mecanismos de proteção às crianças. Mas se não forem acompanhadas de mudanças na forma como esses brinquedos coletam dados, usam a IA e interagem com os usuários, essas declarações não passam de comunicação institucional, sem efeito prático sobre os riscos destacados pelos especialistas.

Apesar de seus avanços, os efeitos da IA ainda são pouco entendidos, especialmente quando colocada nas mãos de crianças. Elas são muito suscetíveis às armadilhas da tecnologia, ao marketing direcionado e à vigilância de dados.

Precisamos discutir o tipo de relação que estabeleceremos com máquinas que observam, registram, aprendem e tentam influenciar nossas decisões sem que saibamos como isso acontece. Quanto mais a IA passa a habitar os objetos ao nosso redor, mais essenciais se tornam transparência, responsabilidade e limites. Se esse debate não começar agora, corremos o risco de descobrir muito tarde que a vigilância mais eficaz não virá de câmeras, mas dos objetos que levarmos para dentro de casa.

 

Mark Zuckerberg, CEO da Meta, chega para seu depoimento no Tribunal Superior da Califórnia, no dia 18 de fevereiro – Foto: reprodução

Decisões jurídicas podem redesenhar as redes sociais

By | Tecnologia | No Comments

Uma decisão do Tribunal Superior da Califórnia pode mudar decisivamente a maneira como usamos as redes sociais e até como elas são construídas. Depois de deliberar por uma semana, o júri concluiu na quarta (25) que Facebook, Instagram e YouTube viciam seus usuários e que provocaram problemas de saúde mental em uma jovem.

A decisão do julgamento, iniciado no dia 17 de fevereiro, pode ser considerada histórica, pois ela não se baseou no conteúdo publicado nessas plataformas, e sim nos seus algoritmos e no seu design, considerados nocivos por manter online as pessoas de maneira artificial e deliberada. Isso cria um precedente para os cerca de 2.000 outros processos semelhantes que estão ativos nos EUA.

KGM, hoje com 20 anos, processou a Meta, o YouTube, o Snapchat e o TikTok em 2023. Ela começou a usar as redes sociais aos 6 anos e alegou que os sites causaram danos pessoais, incluindo dismorfia corporal e pensamentos suicidas. O Snapchat e o TikTok fizeram acordos antes do julgamento, mas a Meta e o YouTube prosseguiram com o processo, pois afirmam ser muito difícil provar que redes sociais causam dependência e danos pessoais.

Com a decisão, a Meta (dona do Facebook e do Instagram) e o Google (dono do YouTube) devem pagar US$ 3 milhões em indenização, com a primeira sendo responsável por 70% do valor. As empresas disseram que vão recorrer.

Foi a primeira vez que o júri de um caso como esse teve acesso a documentos internos das big techs e ouviu depoimentos de seus principais executivos, incluindo Mark Zuckerberg, CEO da Meta. Essa confrontação exibiu um posicionamento que chega a ser cínico dessas empresas. Elas têm consciência dos danos, não fazem tudo que podem para mitigá-los, mas afirmam ser preocupadas com seus usuários. Agora essa exposição determinará o que acontecerá com as plataformas daqui para frente.


Veja esse artigo em vídeo:


Muita gente está comparando essa decisão com uma de 1998 contra a indústria do cigarro, depois que 46 Estados americanos processaram aquelas empresas por danos à saúde pública. Elas foram obrigadas a pagar US$ 206 bilhões para compensar custos de saúde, aumentar o preço de seus produtos, restringir fortemente a publicidade, dissolver seu lobby e revelar milhões de documentos internos, além de financiar campanhas antitabagismo.

A medida inspirou leis e iniciativas semelhantes no mundo todo, inclusive no Brasil. Isso provocou uma queda contínua na quantidade de fumantes, que só desacelerou com a popularização de cigarros eletrônicos, conhecidos como “vapes”, há 15 anos. A indústria os apresentou como um “fumo menos nocivo” e até um caminho para parar de fumar, mas hoje se sabe que eles podem ter um potencial viciante ainda maior.

“A gente precisa ter cautela, porque o paralelo com a indústria do tabaco faz sentido na medida em que envolve um possível conhecimento prévio de danos e escolhas de design que amplificam os riscos”, explica Marcelo Crespo, coordenador do curso de Direito da Escola Superior de Propaganda e Marketing (ESPM). “Se surgirem provas robustas de que houve ocultação e manipulação intencional, pode ser que a gente tenha um ponto de inflexão bastante semelhante em impacto regulatório”, pondera.

“A decisão fortalece uma percepção de que há riscos estruturais no ambiente digital que exigem mais atenção não somente de pais e responsáveis, mas da sociedade como um todo”, acrescenta Marcelo Cárgano, advogado especialista em direito digital do Abe Advogados. Para ele, “à medida que se consolida a percepção sobre o papel do design destas plataformas na indução de comportamento, cresce a expectativa por regras mais claras, fiscalização efetiva e responsabilização quando houver danos”.

No julgamento, as empresas alegaram que não permitem usuários com menos de 13 anos, porém documentos internos da Meta mostraram que ela sabe que crianças as usam regularmente. A companhia disse que toma medidas para proteger os usuários mais jovens, mas outros documentos indicavam metas de retenção de pré-adolescentes na plataforma.

 

O abuso da liberdade de expressão

As empresas tentaram arquivar o processo, invocando a proteção da liberdade de expressão. Esse é um recurso que as big techs usam há décadas, baseado na Seção 230 do Communications Decency Act (CDA) dos EUA e no artigo 19 do Marco Civil da Internet brasileiro. Esses mecanismos determinam que essas plataformas não podem ser responsabilizadas pelos conteúdos que os usuários publicam em suas páginas.

“No Brasil, essas defesas tendem a perder força após a decisão do Supremo Tribunal Federal em junho de 2025, que declarou parcialmente inconstitucional o artigo 19 do Marco Civil da Internet e ampliou as hipóteses de responsabilização das plataformas”, explica Cárgano. “No caso de crimes gravíssimos, as plataformas têm o dever ativo de impedir a própria publicação desse tipo de conteúdo”, afirma.

O assunto esquentou por aqui, com a entrada em vigor, no dia 17 de março, do ECA Digital, que visa proteger crianças e adolescentes de abusos nessas plataformas. Mas, apesar de já estar valendo, pouco efetivamente já foi feito para essa proteção.

Essas leis e decisões enfraquecem o discurso das big techs de que não podem ser responsabilizadas, com o qual se encastelaram. A sociedade se cansou dessa “autorregulação de fachada” e agora percebe que o maior problema não são os conteúdos, e sim os algoritmos e o design desses ambientes digitais, criados para engajar seus usuários ao extremo, mesmo às custas de sua saúde mental.

“O maior desafio jurídico continua sendo o nexo causal, demonstrar que um design específico gerou ansiedade, depressão ou dependência, e isso não é trivial”, explica Crespo. Segundo ele, “isso está evoluindo com estudos científicos, com documentos internos e com padrões de comportamento replicáveis”.

Se os tribunais consolidarem a ideia de que extrair tempo e dados de usuários com mecanismos viciantes configura dano indenizável, os modelos de negócio baseados em engajamento a qualquer custo deixarão de ser apenas eticamente questionáveis, para se tornar economicamente arriscados.

A sociedade, por sua vez, precisa entender que educação midiática já não basta. A resposta aos riscos digitais não pode mais ser apenas “ensinar a usar melhor”, mas garantir, por leis efetivas, proteções mínimas, sobretudo para crianças e adolescentes.