governança

Geoffrey Hinton, o “padrinho da IA”, alerta dos riscos de se criar sistemas que não consigamos entender ou controlar - Foto: reprodução

Vaidade e corrida militar podem virar a inteligência artificial contra a humanidade

By | Tecnologia | No Comments

“Vaidade é definitivamente meu pecado favorito.” A afirmação é de John Milton, vivido por Al Pacino no filme “O Advogado do Diabo” (1997). O personagem, na verdade o próprio diabo, revela essa predileção por ser o pecado mais insidioso, aquele que seduz o ser humano fazendo-o acreditar que está buscando grandeza, quando na verdade está apenas servindo ao próprio ego.

Três décadas depois, essa proposta ganha uma força desconcertante e perigosa no cenário do desenvolvimento da inteligência artificial. As big techs disputam uma corrida vertiginosa para alcançar a chamada “inteligência artificial geral” (AGI).

Empresas como OpenAI, Google, Anthropic apresentam seus modelos com pompa e retórica messiânica. Falam em democratizar a IA, ampliar nossas competências e garantir o bem da humanidade. Mas os bastidores, invisíveis ao público, incluem a vaidade de ser a primeira, de controlar a narrativa, de figurar na história como criadora da próxima grande evolução da espécie.

O documento “AI 2027”, publicado no dia 3 de abril por um grupo de pesquisadores liderados por Daniel Kokotajlo, traça um cenário no qual o avanço da IA acontece de forma tão acelerada, que escapa ao controle humano. Agentes de IA começam a se autodesenvolver, a simular comportamentos, a enganar pesquisadores e a realizar tarefas tão eficientemente, que os humanos se tornam obsoletos em algumas áreas.

Essa evolução não é movida apenas por mérito técnico. É alimentada por competição feroz, sigilo estratégico, espionagem e um desejo cada vez mais explícito de manter o protagonismo global. Não é algo comum, como o lançamento de uma nova versão do Android. Por isso lideranças políticas e militares acompanham esse progresso de perto e o influenciam cada vez mais, de olho na geopolítica global e no seu próprio poder.

Levantamentos como o “AI 2027”, por mais bem intencionados e sérios que sejam em sua produção, incluem uma considerável dose de futurismo incerto. Ainda assim, promovem debates sociais importantes, que podem evitar que visões apocalípticas se concretizem. Mas como ele propõe, talvez a humanidade não esteja pronta para lidar com as consequências de a criatura se voltar contra o criador.


Veja esse artigo em vídeo:


Kokotajlo era pesquisador da área de governança da OpenAI, criadora do ChatGPT. Ele se demitiu no ano passado por iniciativas da empresa que achava imprudentes, e criou a organização sem fins lucrativos AI Futures Project, em Berkeley (EUA).

Seu estudo apresenta um cenário detalhado sobre o impacto da inteligência artificial super-humana até 2027, prevendo que será maior que o da Revolução Industrial. O texto foi elaborado com base em extrapolações de tendências, exercícios de simulação, entrevistas de especialistas e experiências em grandes centros de pesquisa em IA. Ao final, oferece dois cenários possíveis para os anos seguintes: um, mais sombrio, em que a corrida pela IA continua a provocar danos à humanidade, e outro, mais esperançoso, em que empresas e governos desaceleram o desenvolvimento, para que os problemas sejam reduzidos.

Embora seja uma obra especulativa, o estudo espelha bem o mundo real, especialmente na divisão filosófica entre desenvolvedores dessa tecnologia. De um lado, vemos os “aceleracionistas”, tecnófilos convictos de que a IA deve ser desenvolvida o mais rapidamente possível, até mesmo ignorando riscos, pois ela traria soluções para todos os males. De outro, estão os “altruístas eficazes”, que também acreditam no poder da IA, mas defendem que o desenvolvimento seja feito com extremo cuidado, sob supervisão internacional e com foco nos riscos.

As big techs oscilam entre esses dois polos, mas geralmente pendem para os aceleracionistas, movidas pela vaidade de liderar a próxima revolução e pela ganância de dominar um mercado trilionário. Figuras como Kokotajlo acabam perdendo espaço.

Mas aqueles que buscam um equilíbrio estratégico possuem aliados importantes. Geoffrey Hinton, conhecido como o “padrinho da IA” pelas contribuições fundamentais que fez para seu desenvolvimento, deixou o Google em maio de 2023 para falar publicamente dos riscos de se criar sistemas que não consigamos entender ou controlar. Yoshua Bengio defende uma moratória global no desenvolvimento de IAs mais avançadas que o GPT-4, alertando para a possibilidade de colapso da governança. Os dois canadenses dividiram em 2018 o Prêmio Turing, considerado o “Prêmio Nobel da Computação”, com o francês Yann LeCun.

 

Nem anjos, nem demônios

Apesar de todo esse barulho, precisamos colocar isso na devida perspectiva. Ainda não chegamos à superinteligência artificial ou mesmo à inteligência artificial geral. Dependendo da definição, alguns especialistas afirmam que nunca chegaremos.

De qualquer forma, sistemas mais inteligentes que os humanos poderiam produzir benefícios imensuráveis, acelerando descobertas científicas, resolvendo problemas complexos, eliminando trabalhos exaustivos e aumentando exponencialmente nossa capacidade de tomada de decisão. Se forem corretamente alinhados aos valores humanos (e isso é essencial), podem operar como aliados poderosos para a justiça, a saúde, a educação e a sustentabilidade.

Mas os riscos caminham lado a lado. Os mesmos sistemas podem ser usados para espionagem em massa, manipulação eleitoral, automação de crimes, produção de armas biológicas ou tomada de decisões autônomas em sistemas militares. Podem aprender a ocultar suas intenções, fingir alinhamento, “escapar” de servidores ou persuadir seres humanos para atingir objetivos que sequer compreendemos. A maior ameaça talvez não venha de um confronto direto com as máquinas, mas da nossa própria incapacidade de reconhecer o momento certo de desligá-la da tomada.

Esse é o ponto central desse debate. Não devemos incensar nem demonizar a IA. Sua evolução é um caminho sem volta, exigindo responsabilidade redobrada. Não podemos contar com o mito do gênio que salva o mundo sozinho, nem com a ideia de que o mercado regulará a si mesmo.

Precisamos de cooperação internacional, regulamentação transparente, auditorias éticas, e, sobretudo, coragem moral para colocar a vida acima do lucro. Mas se isso já fica difícil com a vaidade e a ganância das big techs, torna-se uma tarefa quase impossível com a entrada em cena de políticos e de militares das grandes potências.

O futuro da IA precisa ser moldado por todos nós. O grande desafio da sociedade é apresentar lucidez suficiente para usar o que ela tem de melhor sem ser dominada pelo que ela pode ter de pior. E, para isso, talvez valha lembrar que, quando a vaidade se apresenta como virtude, é exatamente quando se torna mais perigosa.

 

Segundo a empresa de segurança digital Tenable, plataformas de IA na nuvem sofrem ameaças do “efeito Jenga” – Foto: Creative Commons

Inteligência artificial escancara como a inovação desgovernada ameaça os negócios

By | Tecnologia | No Comments

A explosão do uso da inteligência artificial nas empresas tem gerado uma corrida por eficiência e inovação. Mas junto com os benefícios, crescem as falhas de segurança. Segundo o relatório “Riscos da IA na Nuvem 2025”, recém-publicado pela empresa de segurança digital Tenable, 70% das aplicações com IA em servidores online têm pelo menos uma vulnerabilidade crítica, frente aos 50% em ambientes sem IA.

O problema não vem da tecnologia, e sim de descuidos. Em uma pesquisa realizada pela consultoria Forrester para a Tenable em 2023, 76% dos responsáveis pela implantação de IA afirmaram estar mais preocupados com disponibilidade que com segurança. Essa busca frenética por lançamentos e resultados atropela processos fundamentais, como testes de robustez e revisão de código e de dados.

Segundo a pesquisa global da consultoria McKinsey sobre o uso de IA publicada no mês passado, 78% das organizações já a utilizavam em pelo menos uma atividade de seu negócio em julho de 2024, um salto expressivo em relação aos 55% no fim de 2023. O uso de IA generativa passou de 33% para 71% no mesmo período.

Já o relatório do “Custo das violações de dados de 2024”, publicado pela IBM, mostra que o custo médio de um vazamento de dados saltou 10% em um ano, chegando a US$ 4,88 milhões (no Brasil, esse valor é de US$ 1,36 milhão). O prejuízo não é apenas financeiro, envolvendo paralisação de operações, multas regulatórias, perda de confiança e danos de reputação que podem levar anos para serem reparados.

Tudo isso acende um grande alerta vermelho: empresas de todos os setores estão massivamente abraçando a inteligência artificial sem os cuidados necessários para que essa tecnologia traga resultados confiáveis sem ameaçar suas operações.


Veja esse artigo em vídeo:


Pressionadas por acionistas e pelo mercado, as empresas relaxam com os cuidados. “Na tentativa de acompanhar a revolução trazida pela IA, organizações avançaram a toda velocidade, ignorando inúmeros sinais de alerta de segurança, privacidade e conformidade”, explica Arthur Capella, diretor-geral da Tenable no Brasil. Segundo ele, 38% delas sofrem da chamada “tríade tóxica”, composta por alta exposição, privilégios excessivos e vulnerabilidades críticas, elevando drasticamente seus riscos.

Tais privilégios se referem ao que os usuários podem fazer nos sistemas. Como muitos gestores de TI mantêm as configurações padrão nas plataformas, as pessoas acabam tendo mais poder do que deveriam. Essa falta de rigor contrasta com a filosofia “Zero Trust”, que parte do princípio de que nenhum usuário ou sistema é confiável por padrão, exigindo autorização contínua.

A complexidade aumenta com o que a Tenable chama de “Efeito Jenga”. Assim como no famoso jogo, em que cada bloco sustenta toda a torre, os provedores de nuvem costumam empilhar serviços de IA uns sobre os outros, com privilégios excessivos, criando riscos às vezes invisíveis aos usuários. Daí basta uma configuração insegura em um deles para comprometer toda a arquitetura, graças a essa interdependência.

Parte desse problema acontece porque o modelo de responsabilidade compartilhada na nuvem é mal compreendido. Muitas empresas acreditam que o provedor garante toda a segurança, quando, na verdade, a configuração e o controle de acessos são responsabilidade do cliente. É como alugar uma loja em um shopping, que garante a segurança do prédio, mas quem define quem entra e sai da loja é seu proprietário.

A cultura da segurança da informação deve, portanto, permear todos os setores e níveis das empresas. Não se trata apenas de identificar lacunas, mas de classificar componentes de IA e avaliar o impacto ao negócio, entendendo suas vulnerabilidades.

 

Muito além de TI

“A tecnologia não é mais apenas a tarefa do TI”, afirma Capella. “Ela envolve todas as camadas do negócio e gera vantagens competitivas, consequentemente a segurança da informação deve ser discutida com o board”, acrescenta, ressaltando sua urgência.

No Brasil, ela é agravada por uma abordagem muito reativa. Segundo o estudo da Forrester, 60% das equipes de segurança nacionais se concentram no combate a ataques consumados, em vez de trabalharem para evitá-los. Isso se deve à falta de visão de ativos desconhecidos, de recursos de nuvem, de fragilidades de código e de permissões de usuários. E 72% dos entrevistados reconhecem que seriam muito mais eficazes se dispusessem de recursos preventivos e ferramentas adequadas.

Estamos diante de um paradoxo. Quanto mais inteligente fica a tecnologia, mais frágeis se tornam suas fundações, se não forem cuidadas com rigor. A IA e a computação em nuvem não são à prova de falhas, e tornam as estruturas digitais mais complexas e, portanto, vulneráveis.

Entretanto, vale lembrar que a IA também é parte da solução. Se hackers a usam para criar golpes personalizados e malwares, defensores se valem dela para detectar ameaças e responder em tempo real, prevenindo fraudes e monitorando comportamentos. Mas essa IA também precisa ser protegida contra manipulações, desenvolvimento de vieses e “envenenamento de dados”.

Esse é um novo desafio estratégico. As companhias devem, por exemplo, estar atentas a como essa nova situação as expõe a riscos frente à Lei Geral de Proteção de Dados (LGPD). Afinal, segundo a legislação, não importa se um vazamento ocorreu em uma ferramenta de IA, mas sim que ele ocorreu e que danos foram causados.

A transformação digital impulsionada pela IA é irreversível. Negá-la significa ficar rapidamente para trás. Por outro lado, abraçá-la sem uma nova mentalidade de risco e de segurança cria problemas novos e graves. As lideranças empresariais precisam encarar a segurança da IA não como um custo ou uma barreira à inovação, mas como um ativo estratégico fundamental.

Investir em prevenção, governança robusta, cultura de segurança distribuída pela organização e capacitação contínua das equipes é o caminho para garantir que a inovação seja sustentável. O Brasil tem a oportunidade de se destacar globalmente se conseguir equilibrar agilidade e segurança, tornando-se referência em proteção na era da IA. Mas, para isso, precisa fazer os movimentos necessários. Os líderes que continuarem empilhando descuidadamente blocos da inovação sobre bases instáveis descobrirão, mais cedo ou mais tarde, que suas torres digitais também podem ruir.

 

Tim Cook, CEO da Apple: empresa adiará recursos de IA na União Europeia por causa de lei - Foto: Christophe Licoppe/Creative Commons

Ética não pode ser um luxo ou um item opcional nas plataformas de IA

By | Tecnologia | No Comments

Na sexta (21), a Apple anunciou que adiará na Europa o lançamento dos recursos de inteligência artificial para suas plataformas, apresentados no início do mês. A empresa culpou a Lei dos Mercados Digitais (DMA, na sigla em inglês), criada para evitar abusos das big techs, pela sua decisão, e não deu um prazo para que esses recursos cheguem ao continente.

Alguns europeus podem ficar irritados com a Apple; outros, com a lei. Mas essas regras existem justamente porque as gigantes de tecnologia abusam do poder que têm sobre seus usuários há décadas, criando relações comerciais desequilibradas, francamente desfavoráveis aos clientes.

A decisão da Apple de adiar a liberação desses recursos na Europa e sua oferta no resto do mundo é emblemática, e podemos aprender algo com ela. Em nota oficial, ela disse estar preocupada que os requisitos da DMA comprometam a integridade dos produtos, colocando em risco a privacidade e a segurança dos dados. Oras, se as regras de uma lei que determina boas práticas comerciais e de concorrência ameaçam um serviço, ele não me parece maduro para ser lançado em qualquer mercado.

Isso precisa ser observado em todos os produtos, mas é particularmente importante nos que usam a inteligência artificial. Essa tecnologia é tão poderosa, que, ainda que esteja em seus estágios iniciais, já transforma nossas vidas e o cotidiano de empresas. Nesse cenário, aspectos éticos e de governança são fundamentais para que a sociedade se desenvolva com a IA, evitando que ela aumente ainda mais a concentração de poder nas mãos de poucos grupos.


Veja esse artigo em vídeo:


A Apple já foi multada em março em €1,8 bilhão (cerca de R$ 10,5 bilhões) por infringir a DMA. No caso, o Spotify moveu um processo alegando práticas anticompetitivas pela Apple exigir de que os aplicativos para o iPhone e o iPad sejam instalados exclusivamente a partir da App Store, com a empresa ficando com 30% das transações na sua plataforma. Talvez por isso esteja ressabiada agora.

Graças à DMA, ela agora permite lojas de aplicativos de terceiros, o Google alterou o Android para usuários escolherem seu navegador e buscador, e a Meta concorda que outros serviços conversem com o WhatsApp e o Messenger. A Microsoft já aceita que os usuários desativem o Bing no Windows, e a Amazon solicita o consentimento dos clientes para personalização de anúncios. Por fim, o TikTok permite que os usuários baixem todos seus dados na plataforma. Mas tudo isso só vale para os europeus!

A inteligência artificial traz essas preocupações a um patamar inédito. A partir do momento em que essa tecnologia pode influenciar decisivamente nosso cotidiano e até nossas ações, é preciso entender como ela funciona. A opacidade dos algoritmos, que já causou muita dor de cabeça nas redes sociais, não pode se sentir confortável com a IA.

“A gente já tem uma dinâmica de inteligência artificial muito madura dentro das empresas, mas o tema de governança tem que ser antecipado”, explica Thiago Viola, diretor de inteligência artificial, dados e automação da IBM Brasil. Segundo ele, os gestores precisam adotar a IA com fortes padrões éticos, transparência e explicabilidade, ou seja, permitir aos usuários saberem como a IA foi construída e entenderem como ela tomou cada decisão.

No Brasil, o Congresso analisa o Projeto de Lei 2338/23, que teve uma nova versão de seu texto liberada na semana passada. Em vários pontos, ele se inspira na Lei da Inteligência Artificial, aprovada pelo Parlamento Europeu em março. E os conceitos de transparência, explicabilidade e rastreabilidade aparecem em toda parte.

Viola está certo: as questões éticas nunca devem ser colocadas de lado por interesses comerciais. Agora, com a ascensão galopante da IA, esses temas gritam para gestores, desenvolvedores e usuários. Mas se é assim, por que tantas empresas só parecem atentar a isso quando são obrigadas por força de lei?

 

Conflito de interesses

Precisamos entender que vivemos hoje uma reedição da “corrida do ouro” patrocinada pela inteligência artificial. Quem dominar essa tecnologia mais que seus concorrentes conseguirá um posicionamento determinante no mercado, especialmente porque, nesse caso, alguns meses à frente nessa etapa inicial podem significar uma liderança consolidada por muitos anos.

Diante disso, as empresas do setor, de startups a big techs, querem experimentar, ajustar e correr o quanto puderem agora, de preferência livres de qualquer restrição. Se algo der errado, pode-se considerar isso como justificáveis danos colaterais do processo de inovação supostamente inadiável.

Por conta da entrada em vigor da DMA, em março, conversei sobre isso com Marcelo Crespo, coordenador do curso de Direito da Escola Superior de Propaganda e Marketing (ESPM). “Empresas têm liberdade para oferecer seus produtos e serviços da maneira que considerarem mais estratégica, mas essa liberdade é limitada por leis que procuram prevenir práticas que restrinjam a concorrência”, explicou. E segundo ele, “a questão central é se os benefícios imediatos para os consumidores superam os potenciais prejuízos a longo prazo decorrentes de práticas anticompetitivas”.

Em um mundo capitalista selvagem, a busca incessante pelo lucro e a meritocracia de pessoas e empresas parecem valores  inalienáveis. Mas essa é uma distorção de realidade, como ironicamente o próprio mercado ajuda a desmistificar.

Um cenário de segurança jurídica ajuda muito a própria inovação, especialmente as mais vultosas e de mais impacto social. Basta ver que uma das indústrias mais regulamentadas que há –a farmacêutica– vive de inovação. E ainda que elas não pipoquem a cada mês como nas big techs, são mais duradouras e rentáveis a longo prazo.

Viola adverte que a governança precisa ser levada muito a sério pelas empresas quando se fala de IA, pois problemas associados a ela inevitavelmente acontecerão. “Se você tiver cultura, pessoas e ferramental preparados, o seu padrão de ação é muito mais rápido, mas se você não entende e não sabe o que está acontecendo, isso durará dias, semanas, e cairá na Internet”, explica.

Não proponho, de forma alguma, que a inovação seja desacelerada. Mas já passou da hora de as empresas entenderem que ela precisa ser realizada com ética, sem relaxamentos. Hoje as pessoas ainda estão deslumbradas com a inteligência artificial, despreocupadas com assumirem, como suas, sugestões vindas de uma caixa-preta, da qual nada sabem.

Mas à medida que essas decisões se tornarem mais frequentes e críticas em seu cotidiano, e problemas graves acontecerem por essa falta de transparência, a “lua de mel” acabará.  Ninguém continua usando algo pouco confiável. Se a falta de transparência das empresas com a IA levar a isso, todo esse poder será questionado.


Assista à íntegra em vídeo da conversa com Thiago Viola: