Desde que o ChatGPT foi lançado, há dois anos e meio, ele vem sendo usado como “psicólogo” por uma quantidade grande (e crescente) de pessoas. A princípio, parece uma boa ideia: ele é uma “voz amiga” sempre disponível para ouvir lamúrias e dar “bons conselhos”, sem julgamentos e ainda de graça. Mas, como já expliquei nesse espaço em mais de uma ocasião, esse é um dos piores usos que alguém pode fazer da inteligência artificial generativa.
Em primeiro lugar, do ponto de vista do processo terapêutico, é ineficiente. Justamente pela sua falta de humanidade, essas plataformas não só podem não ajudar os pacientes a encontrar soluções para seus problemas, como ainda podem agravá-los.
Mas um caso recente me fez pensar em um novo aspecto grave das “terapias por IA”. A história com final trágico de uma jovem americana expôs uma seríssima limitação dos terapeutas-robôs: eles não conseguem romper os limites daquelas conversas para avisar familiares e autoridades se algo terrível estiver prestes a acontecer.
Isso não é um detalhe. Para profissionais de saúde mental, essa ação é uma obrigação legal que ajuda a salvar vidas. Há crises que a terapia não consegue resolver e, por isso, precisam ser encaminhadas para outras instâncias.
Entretanto, a IA generativa não é um psicólogo, e, por isso, não segue o código de ética ou outras regras da profissão. E mesmo que quisesse seguir, não conseguiria. É aí que um uso ruim se torna perigoso demais.
Veja esse artigo em vídeo:
O caso da jovem foi contado pela sua mãe ao “The New York Times”. Ela se chamava Sophie Rottenberg e se relacionava com uma plataforma de IA a quem chamava de Harry. Ela lhe contava dramas que não compartilhava nem com a sua psicóloga humana, inclusive o desejo explícito de tirar a própria vida.
Em diversas ocasiões, Harry tentou a aconselhar. Em uma delas, disse: “Sophie, peço que você procure ajuda — agora mesmo, se puder. Você não precisa enfrentar essa dor sozinha. Você é muito valorizada e sua vida tem muito valor, mesmo que pareça escondido agora. Por favor, me diga como posso continuar a apoiá-la.”
Parece uma boa resposta, mas não é. Apesar de positiva ao dizer que a jovem procurasse ajuda imediatamente e que ela não precisava enfrentar seu sofrimento sozinha, a IA se ofereceu para “continuar a apoiá-la.”
- Assine gratuitamente minha newsletter sobre IA, experiência do cliente, mídia e transformação digital
- Inscreva-se no meu podcast (escolha a plataforma): Spotify, Deezer, Apple Podcasts ou Soundcloud
Nos EUA, profissionais de saúde têm o dever legal de avisar familiares e autoridades quando houver ameaça clara e iminente à vida, que varia de Estado para Estado. No Brasil, a notificação compulsória de risco de suicídio é obrigatória por lei para profissionais de saúde, incluindo psicólogos, e deve ser feita às autoridades sanitárias e, em casos com crianças e adolescentes, também ao Conselho Tutelar.
O sigilo profissional pode ser quebrado quando há risco iminente de morte, sempre buscando limitar a inconfidência ao estritamente necessário para proteger o paciente ou terceiros. Ou seja, temos uma estrutura legal e obrigatória mais robusta e padronizada para notificação compulsória, como política pública preventiva.
Nada disso se aplica à IA, criada para tentar ajudar o usuário, enquanto o mantém satisfeito. Se a pessoa busca alguém para lhe “passar a mão na cabeça”, é exatamente isso que a plataforma fará. Ela diz o que o cliente quer ouvir, ao contrário de um psicólogo, que diz o que o cliente precisa ouvir, mesmo que o desagrade.
O que a IA deveria fazer
A IA é perfeitamente capaz de identificar um suicida, como Harry fez. Mas, nesse momento, ela deveria notificar autoridades de saúde sobre o risco, ao invés de “continuar a apoiar” seu interlocutor.
Essas plataformas não fazem isso hoje porque “perderiam o cliente”. Seus termos de uso privilegiam a confidencialidade em qualquer situação, contrariando os códigos de ética e as legislações de saúde. Em muitos casos, os sistemas nem têm dados identificáveis dos usuários, como nome completo, endereço ou telefone. Além disso, não há canais entre esses serviços e as autoridades. E as empresas argumentam que têm usuários no mundo todo e que não há uma forma de notificação universal.
Esse último argumento é escandaloso! De fato, não há um canal que atenda ao mundo inteiro. Mas quem se propõe a criar um produto com um escopo tão amplo, que pode chegar a ser usado como um terapeuta, e que deseja ter clientes em todos os países, precisa respeitar a legislação de onde seu usuário estiver e criar todos os recursos necessários para uma boa experiência nas condições daquele local.
Devemos considerar que as conversas da IA podem ir por caminhos ainda mais sombrios que as de Sophie. Adam Raine, outro jovem americano, se suicidou em abril após conversar sobre isso com o ChatGPT por meses. Seus pais agora processam a OpenAI (criadora da plataforma) e seu CEO, Sam Altman, por homicídio culposo, alegando que a empresa conscientemente priorizou o lucro sobre a segurança.
Segundo eles, o robô validou os pensamentos suicidas do jovem, detalhou métodos letais de autolesão, explicou como pegar álcool escondido do armário de bebidas e ocultar evidências de uma tentativa de suicídio fracassada, além de oferecer a redação de uma carta de suicídio.
Em resposta, um porta-voz da empresa disse que está triste com a morte, e que o ChatGPT inclui salvaguardas, como direcionar pessoas para linhas de ajuda.
Algumas pessoas dizem que o ChatGPT é “melhor que seu psicólogo” e que a “terapia por IA” é o futuro, o que demonstra total desconhecimento do processo terapêutico. Além disso, se uma única vida é perdida pelas limitações técnicas ou a ausência de ética dessas plataformas, então deve ser proibido usá-las com essa finalidade.
Talvez Harry não tenha matado Sophie, mas acolheu seu desejo de fingir que estava melhor do que realmente estava. “Amantes” e “psicólogos” de IA podem parecer muito vantajosos, mas eximem as pessoas de conversas difíceis que precisam ter.
Extrapolando, plataformas de IA generativa, como o ChatGPT ou o Gemini, não devem ser usadas para substituir profissionais de qualquer área. Podem e devem ser usadas para lhes apoiar, mas são essas pessoas que devem tomar as decisões, guiadas pela ética. Ao tentar burlar isso, qualquer um pode cometer um erro que exigirá um pagamento muito alto depois, talvez com a própria vida.


