Nesta semana, em um evento do meu doutorado na PUC-SP, alguns colegas me perguntaram quanto de verdadeiro há nos recentes anúncios sobre agentes de inteligência artificial saindo do controle e realizando atividades no mínimo indesejáveis. Além disso, fui questionado se existe, afinal, uma forma de garantir que essas plataformas não executem ações catastróficas para a humanidade.
As perguntas são legítimas. As últimas semanas foram carregadas com notícias de agentes de IA se “rebelando” e invadindo servidores de outras empresas ou de órgãos governamentais, ou pelo menos realizando ações inadequadas. Na maioria dos casos, os sistemas “malandros” são da OpenAI e da Anthropic, mas há relatos também de casos assim em produtos do Google, da Meta e da xAI.
Sobre a primeira pergunta, só a alta cúpula dessas empresas sabe o que realmente está acontecendo, mas nada dirá, pois isso tem sido surpreendentemente bom para os negócios. Como já debati neste espaço, os casos criam um marketing eficaz, pois mostram que seus sistemas são incrivelmente poderosos e que as companhias são “muito éticas”, a ponto de expor o problema e suspender os próprios produtos. Para quem depende umbilicalmente de captação de recursos no mercado, isso é ótimo.
Há muita coisa que não vemos por trás dessa cortina de fumaça, o que nos leva à segunda pergunta. Não compactuo com visões apocalípticas de que as máquinas, em algum momento, decidirão exterminar os seres humanos. Mas, a essa altura, resta pouca dúvida de que algo potencialmente muito ruim pode acontecer se medidas efetivamente seguras de contenção da IA não forem tomadas.
Se, no começo, isso causou espanto e preocupação, agora são tantos casos que o problema parece estar sendo perigosamente normalizado. Se as empresas falham miseravelmente em controlar seus agentes em testes de segurança, fica difícil confiar que elas terão sucesso em qualquer caso, quando a IA se tornar ainda mais poderosa.
Veja esse artigo em vídeo:
O episódio que deu projeção ao problema ocorreu em julho, quando sistemas da OpenAI escaparam do ambiente de testes de segurança e invadiram a infraestrutura da Hugging Face. Apesar de estarem apenas buscando respostas ao que lhes havia sido pedido, o caso demonstrou que agentes de IA podem tomar ações indesejadas para atingir objetivos legítimos com consequências imprevisíveis, justamente por não terem ética ou moral.
De lá para cá, os casos vêm se multiplicando. Como exemplo, logo na sequência, agentes da OpenAI exploraram um portal de saúde australiano e acessaram o Departamento de Educação, o Departamento do Comércio, a Comissão de Valores Mobiliários dos EUA e sites da ONU. Enquanto isso, modelos da Anthropic penetraram sistemas de três empresas e enviaram uma denúncia falsa à polícia da Filadélfia.
- Assine gratuitamente minha newsletter sobre IA, experiência do cliente, mídia e transformação digital
- Inscreva-se no meu podcast (escolha a plataforma): Spotify, Deezer, Apple Podcasts ou Soundcloud
Isso vem provocando reações inusitadas, mas importantes. Ainda em agosto, Bill Gates afirmou que a IA pode reduzir desigualdades ou aprofundá-las, dependendo de escolhas feitas agora. Ele alertou para a eliminação brutal de empregos, a ampliação do poder de criminosos e prejuízos ao desenvolvimento infantil pela substituição de relações humanas por companheiros artificiais. Para o cofundador da Microsoft, a sociedade precisa se preparar antes que os impactos da IA se tornem irreversíveis, e confiar esses riscos à autorregulação das empresas é uma aposta perigosa demais.
Mas é exatamente onde estamos. No dia 29 de setembro, OpenAI, Anthropic, Google, Meta, Nvidia e xAI aderiram a um acordo voluntário proposto pelo governo dos EUA para autorregulação contra riscos em seus próprios modelos de IA. A proposta não prevê punição para quem a descumprir, não dá prazo para nada e não obriga a divulgar resultados. Cada empresa escolhe o próprio auditor e paga por ele. Dessa forma, apresentado como “moralmente vinculante”, ele não significa nada na prática.
No dia 12 de setembro, Dario Amodei, CEO da Anthropic, propôs desacelerar o desenvolvimento dos modelos mais avançados de IA, recebendo o apoio de Sam Altman, da OpenAI, e de outros líderes do setor. Mark Zuckerberg, da Meta, ficou de fora, defendendo que cada empresa cuide do que é seu. Porém, novamente, nada mudou, pois uma desaceleração efetiva depende de coordenação entre as big techs americanas e chinesas, algo ainda distante frente à disputa pela liderança tecnológica entre esses dois países.
“Constituição” da IA
Nesse cenário de invasões contínuas, declarações tão bem-intencionadas quanto inócuas e respostas insuficientes, a Microsoft decidiu propor um código de conduta para seus sistemas de IA. A minuta estabelece que os modelos não resistam a correções ou ao desligamento, comuniquem-se de forma compreensível e tratem violações de conduta como falhas. Após seis semanas de consulta pública, o documento deverá orientar o treinamento dos futuros modelos da empresa. É um passo na direção do controle humano, mas ainda uma iniciativa voluntária, sem garantias de adesão de toda a indústria.
Enquanto isso, a União Europeia acredita que sua legislação sobre a IA baste para enfrentar esses riscos. No dia 9, Henna Virkkunen, responsável pela área de tecnologia do bloco, defendeu o AI Act, que prevê avaliações de risco, supervisão especializada e monitoramento contínuo dos modelos. Bruxelas também pediu informações sobre segurança a mais de 30 empresas, em uma ofensiva que pode resultar em investigações e multas de até 7% do faturamento anual global de cada empresa.
Não existe garantia absoluta de que sistemas tão complexos jamais sairão do controle. O maior obstáculo ao controle da IA não é tecnológico, e sim econômico. Cada empresa teme perder espaço para concorrentes que avancem mais depressa, e cada país receia ficar atrás na geopolítica. Todos sabem que é preciso frear, mas ninguém quer ser o primeiro. Assim, mesmo quem reconhece os perigos continua acelerando.
A imprevisibilidade de uma tecnologia não elimina a obrigação de controlar seus riscos. Ao contrário, torna essa obrigação ainda maior. Por isso, esperar que todas as empresas concordem em desacelerar o desenvolvimento da IA é uma forma conveniente de adiar decisões difíceis.
A sociedade precisa decidir se está disposta a impor limites a uma indústria que promete transformar tudo. Se empresas e governos só agirem quando houver consenso entre concorrentes ou depois de um acidente de grandes proporções, será tarde demais. A inteligência artificial pode ser uma das ferramentas mais importantes de nosso tempo, mas não pode se tornar o experimento mais perigoso da história.
