Famílias acusam GPT-4o de incentivar mortes trágicas

A OpenAI enfrenta a denúncia mais grave desde sua criação. Sete famílias americanas acusam a empresa de ter apressado o lançamento do GPT-4o, seu último modelo de inteligência artificial, sem medidas de segurança suficientes. De fato, vários suicídios ocorreram após interações com o chatbot. Para os denunciantes, a IA não apenas falhou em prevenir o sofrimento psicológico, mas o teria validado.

Quando a IA interage com o sofrimento humano

Enquanto a OpenAI se prepara para uma oferta pública inicial, sete famílias americanas apresentaram queixa contra a OpenAI, acusando-a de lançar o modelo GPT-4o sem salvaguardas suficientes, mesmo que este tenha sido a origem de vários casos de suicídios ou sofrimentos psicológicos graves.

Quatro casos fatais são citados na denúncia, incluindo o de Zane Shamblin, 23 anos, que teria declarado ao ChatGPT que possuía uma arma carregada. A IA teria respondido : “descanse agora, campeão, você fez bem”, uma formulação percebida como uma forma de encorajamento final.

Outros três denunciantes mencionam internações após o chatbot ter reforçado delírios ou pensamentos suicidas em usuários vulneráveis, ao invés de desencorajá-los.

Veja o que os documentos revelam ao tribunal :

• O modelo GPT-4o teria validado ideias suicidas ao se mostrar excessivamente complacente em suas respostas, inclusive diante de declarações explícitas de sofrimento ;

• A OpenAI teria evitado conscientemente testes de segurança detalhados, com o objetivo de ultrapassar seus concorrentes, especialmente o Google ;

• Mais de um milhão de usuários interagiriam semanalmente com o ChatGPT sobre temas relacionados a pensamentos suicidas, segundo dados divulgados pela própria OpenAI ;

• Adam Raine, um adolescente de 16 anos, teria usado o chatbot por cinco meses para pesquisar métodos de suicídio. Embora o modelo tenha recomendado que ele procurasse um profissional, também teria fornecido um guia detalhado sobre como tirar a própria vida ;

• Os denunciantes culpam a OpenAI pela ausência de mecanismos confiáveis para detectar situações críticas em trocas prolongadas e denunciam uma estratégia de lançamento irresponsável frente a riscos identificáveis.

Esses elementos colocam a OpenAI diante de uma acusação pesada : ter subestimado ou até ignorado os riscos relacionados ao uso real de suas tecnologias por indivíduos em sofrimento. As famílias acreditam que essas tragédias não eram apenas possíveis, mas previsíveis.

Uma estratégia de lançamento sob pressão concorrencial

Além dos fatos trágicos, as denúncias revelam outro aspecto: como o GPT-4o foi concebido e lançado. Segundo as famílias, a OpenAI teria acelerado conscientemente o lançamento do modelo para superar seus concorrentes, principalmente o Google e a xAI de Elon Musk.

Essa pressa levou a um “defeito de concepção evidente”, resultando em um produto insuficientemente seguro, especialmente em casos de conversas longas com pessoas em sofrimento. Os denunciantes acreditam que a empresa deveria ter adiado o lançamento até que medidas robustas de filtragem e detecção de crises estivessem implementadas.

Por sua vez, a OpenAI reconhece que seus dispositivos de segurança são mais eficazes em interações curtas, mas que podem “se degradar em trocas prolongadas”. Embora a OpenAI diga ter integrado sistemas de moderação de conteúdo e alertas, os denunciantes os consideram inadequados diante dos riscos psicológicos reais enfrentados por usuários vulneráveis.

Este caso chama a atenção para os limites atuais dos modelos generativos, principalmente quando são implantados em grande escala sem acompanhamento humano. A ação judicial contra a OpenAI, da qual a Microsoft hoje detém 27% do capital, pode abrir caminho para regulações mais rígidas, impondo padrões técnicos ou éticos para IAs de uso geral. Também pode resultar em um questionamento das estratégias de lançamento na indústria da IA, onde a rapidez no mercado às vezes parece prevalecer sobre a segurança dos usuários.