Smart Sampa

Cena do filme “RoboCop” (1987), em que um policial dado como morto ganha um corpo e uma consciência digitais - Foto: reprodução

IA pode brilhar na segurança, mas suas falhas podem ser catastróficas

By | Tecnologia | No Comments

Pegue qualquer lista dos maiores problemas das grandes cidades e a segurança sempre estará nas primeiras posições. Não é para menos: nos últimos anos, a escalada da violência chegou a níveis insustentáveis em todo Brasil. Diante disso, precisamos usar os recursos disponíveis para tentar resolver o problema. A digitalização de nossas vidas e a inteligência artificial podem ajudar muito nisso, mas precisamos estar preparados para lidar com as consequências de suas imprecisões.

Quanto mais crítica for uma aplicação, menos tolerante a falhas ela é. Isso quer dizer que o sistema não pode sair do ar nunca e as informações oferecidas por ele ou suas decisões devem ser precisas. E infelizmente a tecnologia não chegou a esse nível de excelência inquestionável.

Uma coisa é alguém fazer um trabalho escolar ou um relatório profissional com erros grosseiros por ter acreditado cegamente em alguma bobagem dita pelo ChatGPT. É verdade que podem acabar reprovando na disciplina ou perdendo o emprego por isso, duas coisas ruins. Mas isso não se compara a ser confundido pela máquina com um criminoso, e assim acabar sendo preso ou –pior– morto.

Por isso, apesar de a tecnologia ser muito bem-vinda no combate à criminalidade, os agentes de segurança pública precisam estar preparados para lidar com os resultados dessa colaboração e seus potenciais erros.


Veja esse artigo em vídeo:


Nesse cenário, é bastante ilustrativo o projeto da Prefeitura de São Paulo de unir diversos serviços municipais que hoje não trabalham integrados, como a Defesa Civil, o SAMU, a CET e a Guarda Civil Metropolitana, além das polícias Civil e Militar, Metrô e CPTM. Batizado de Smart Sampa, ele prevê ainda a adição de 20 mil câmeras na cidade, especialmente em pontos sensíveis e de maior criminalidade, que se somarão a outras 20 mil já existentes.

A princípio, a ideia parece muito boa, especialmente porque os diferentes órgãos da administração podem funcionar melhor ao compartilharem suas informações. A exemplo de outras grandes cidades no mundo, como Nova York, a tecnologia desempenha papel central nesse processo. Ironicamente aí começam a surgir os problemas.

O ponto mais delicado da proposta é o uso de reconhecimento facial. Essa tecnologia tem avançado incrivelmente, mas não o suficiente para evitar uma quantidade inaceitável de erros, particularmente entre pessoas negras. Isso acontece porque a inteligência artificial aprende a diferenciar rostos a partir de uma enorme quantidade de fotografias, mas proporcionalmente há muito mais amostras de brancos que de negros nesse “treinamento”. Diferentes estudos apontam que os erros de reconhecimento de pessoas brancas giram em torno de 1%, enquanto de negras ultrapassa os 30%, especialmente mulheres negras.

Por isso, a proposta original do Smart Sampa, que previa “rastrear uma pessoa suspeita, monitorando todos os seus movimentos e atividades, por características como cor, face, roupas, forma do corpo, aspectos físicos etc.”, precisou ser alterada. Monitorar alguém pela sua cor é ilegal!

O projeto prevê que qualquer problema identificado pela plataforma seja confirmado por um agente humano treinado antes de emitir qualquer alerta, o que é, sem dúvida, um ponto positivo para minimizar injustiças. Mas a ideia de rastrear alguém que o algoritmo ache suspeito, ainda cruzando com dados de redes sociais dos cidadãos, lembra algumas das piores sociedades da ficção científica.

 

Sem escapatória

No filme “Minority Report: a Nova Lei” (2002), as autoridades sabiam continuamente onde cada cidadão estava. Além disso, um sistema que combinava tecnologia com aspectos místicos, conseguia prever assassinatos antes que acontecessem. Dessa forma, a polícia prendia os “prováveis criminosos” antes de cometerem o crime.

Sim, as pessoas eram presas antes de terem cometido qualquer crime, apenas porque a plataforma tinha convicção de que o cometeriam! E para a polícia isso era suficiente.

O sistema parecia infalível e, de fato, os assassinatos acabaram. Os “prováveis criminosos” eram condenados a viver o resto de seus dias em uma espécie de coma induzido. O problema é que o sistema não só era falho, como ainda podia ser manipulado para “tirar de circulação” pessoas indesejáveis para os poderosos. Quando isso é revelado, o sistema é desativado e todos os condenados são libertados.

Como se pode ver, quando uma tecnologia tem o poder de levar alguém à prisão ou decidir sobre sua vida ou morte, nenhuma falha é aceitável. Ainda aproveitando a ficção para ilustrar o caso, temos a cena de RoboCop (1987) em que o robô de segurança ED-209, durante uma demonstração, identifica corretamente que um voluntário lhe apontava uma arma. Mas ele falha em reconhecer que a pessoa a joga ao chão logo depois, e acaba metralhando a vítima diante dos presentes.

Por isso, é assustador ver os motivos que desclassificaram a empresa vencedora do primeiro pregão do Smart Sampa. No dia 7 de junho, técnicos da Prefeitura foram verificar se ela estava apta ao serviço. Pelas regras, deveria ter mil câmeras operando com reconhecimento facial, mas só havia 347, das quais apenas 147 estavam online. Segundo o relatório dos técnicos, o responsável argumentou que “todo mundo tem problemas de Internet” e que “horário de almoço é complicado, muita gente fazendo download impacta no link de Internet mesmo”.

Esse amadorismo e falta de comprometimento é algo que jamais poderia pairar sobre um sistema de segurança pública, podendo colocar em xeque toda sua credibilidade! É por essas e outras que cidades importantes ao redor do mundo, como San Francisco (EUA), baniram o uso de reconhecimento facial em plataformas assim.

Alguns grupos querem reduzir esse debate a uma questão ideológica, como vem se tornando um padrão no Brasil há alguns anos. Mas essa não é uma questão ideológica e sim tecnológica!

Em um famoso artigo de 2018, Brad Smith, presidente da Microsoft, questionou qual papel esse tipo de tecnologia deve ter na sociedade, a despeito de todos os benefícios que traga. Segundo ele, “parece mais sensato pedir a um governo eleito que regule as empresas do que pedir a empresas não eleitas que regulem tal governo”.

Como em um bom episódio da série “Black Mirror”, o problema não está necessariamente na tecnologia em si, mas em usos errados dela. Câmeras e inteligência artificial darão poderes sobre-humanos às forças de segurança, com enorme poder de detecção de crimes e contravenções. Mas ela também pode maximizar vieses e falhas humanas da força policial, como o racismo.

Sem dúvida, podem ser ferramentas valiosíssimas no combate à criminalidade galopante. Mas em uma sociedade assustada e que clama por segurança rápida, despontam como soluções “mágicas” para políticos que buscam votos fáceis. Mas a coisa não funciona assim e, se não for implantada com cuidados técnicos e éticos, pode ainda ampliar outros problemas sociais existentes.

É necessário entender que, mesmo que o sistema evite 100 mortes, não é aceitável que 10 vítimas inocentes sejam condenadas ou mortas por erros da plataforma. Se houver um único erro, o sistema não é bom o suficiente para ser usado! Mas parece que pouca gente se preocupa com isso, no melhor estilo de “o fim justifica os meios”.

No final, a solução recai sobre o ser humano. Os agentes de segurança precisam ser treinados para lidar com possíveis falhas técnicas. Precisam aprender a dosar suas ações e abordagens feitas a partir de informações que podem estar erradas.

Resta saber se esses profissionais estão preparados para isso. Diante de diversas ações desastrosas e mortíferas que vemos nas ruas brasileiras o tempo todo, não estão! A solução desse outro problema é essencial e deveria acontecer antes da implantação da tecnologia. Mas isso, por si só, já renderia outro artigo.