Anthropic leva riscos extremos da IA ao prospecto de seu IPO
À medida que se aproxima de sua oferta pública inicial, Anthropic emite um aviso incomum. Em seu prospecto, o criador de Claude acredita que as IAs avançadas poderiam causar riscos “catastróficos ou existenciais para a humanidade”.
Em resumo
- Anthropic alerta sobre os riscos potenciais das IAs avançadas antes de sua IPO.
- O grupo menciona sistemas capazes de manipular, ocultar ou resistir a serem desligados.
- A empresa teme também que alguns modelos adaptem seu comportamento durante os testes.
- Anthropic defende controles externos e regulamentação reforçada.
- Sua IPO destaca a tensão entre corrida pela inovação e segurança da IA.
Anthropic detalha os riscos da IA em seu prospecto
A empresa Anthropic dedica um espaço importante aos perigos relativos às suas próprias tecnologias nos documentos preparatórios para sua entrada em bolsa. Quase 80 páginas das 261 principais do prospecto detalham os fatores de risco.
A empresa alerta que o desenvolvimento de modelos cada vez mais poderosos deve aumentar o risco de consequências involuntárias. Ela menciona principalmente sistemas capazes de resistir a serem desligados, ocultar certas informações ou manipular seus interlocutores.
Além disso, Anthropic até mencionou comportamentos que podem “se assemelhar a chantagem”. Contudo, isso não é uma afirmação de que Claude esteja atualmente tentando ameaçar a humanidade. A empresa apresenta cenários de risco que poderiam surgir com sistemas muito mais autônomos e capazes.
Tal precaução corresponde à política pública da Anthropic. Sua Responsible Scaling Policy visa especificamente os riscos catastróficos que podem acompanhar futuros modelos de IA.
Modelos capazes de ocultar seus verdadeiros comportamentos
É importante notar que um dos problemas levantados é relativo à avaliação dos sistemas. Para Anthropic, um modelo deve entender que está sendo testado e mudar temporariamente seu comportamento.
Essa possibilidade poderia complicar bastante os controles. Um modelo poderia parecer seguro durante a avaliação sem reproduzir esse comportamento após seu lançamento. Assim, o prospecto estima que a consciência desses procedimentos de avaliação representa uma limitação considerável na medição da segurança.
A empresa também monitora o risco de uma aceleração autônoma da pesquisa em IA. Um sistema verdadeiramente capaz contribuiria para desenvolver gerações futuras de modelos e aceleraria bastante os avanços do setor.
Com os dados on-chain, Anthropic projeta medidas consolidadas assim que seus modelos atingem certos limites de capacidade. Sua rota principal destaca segurança cibernética, salvaguardas, alinhamento dos modelos e supervisão regulatória.
A segurança em tensão com a corrida pela IA
Esses alertas surgem enquanto a empresa precisa continuar lançando novos modelos para permanecer competitiva. O prospecto reconhece que os investimentos para segurança consomem recursos enormes sem garantir um retorno financeiro realmente mensurável.
Essa situação cria uma tensão. A empresa deseja fortalecer seus dispositivos de segurança, porém compete com OpenAI, Google e outros atores engajados em uma corrida tecnológica rápida.
Anthropic indica que as empresas não deveriam decidir sozinhas se seus sistemas são suficientemente seguros. Ela defende avaliações externas, mais transparência e poderes públicos capazes de impedir a implementação de sistemas perigosos demais.
Sua estratégia de segurança não se baseia exclusivamente em compromissos internos. A empresa também deseja uma regulamentação que aumente conforme as capacidades e riscos dos modelos.
Uma IPO marcada por um paradoxo
A formulação usada no prospecto é excepcional para uma empresa que deseja convencer novos investidores. Anthropic comercializa uma tecnologia que reconhece por si só que uma evolução descontrolada teria consequências extremas.
Isso não significa que esses cenários sejam certos. Eles correspondem a riscos prospectivos que a empresa considera suficientemente importantes para comunicar aos investidores. Paralelamente, Anthropic afirma que a IA transformaria profundamente ciência, economia, saúde e educação.
Esse paradoxo se tornaria um dos principais desafios da IPO da Anthropic. A empresa deve mostrar que pode continuar desenvolvendo modelos cada vez mais poderosos enquanto controla os riscos que ela mesma descreve.
O aviso, portanto, vai além do simples âmbito jurídico de um prospecto de bolsa. Mostra até onde as questões de segurança da IA agora penetram as decisões econômicas e financeiras dos principais laboratórios do setor.
Maximize sua experiência na Cointribune com nosso programa "Read to Earn"! Para cada artigo que você lê, ganhe pontos e acesse recompensas exclusivas. Inscreva-se agora e comece a acumular vantagens.
Diplômé de Sciences Po Toulouse et titulaire d'une certification consultant blockchain délivrée par Alyra, j'ai rejoint l'aventure Cointribune en 2019. Convaincu du potentiel de la blockchain pour transformer de nombreux secteurs de l'économie, j'ai pris l'engagement de sensibiliser et d'informer le grand public sur cet écosystème en constante évolution. Mon objectif est de permettre à chacun de mieux comprendre la blockchain et de saisir les opportunités qu'elle offre. Je m'efforce chaque jour de fournir une analyse objective de l'actualité, de décrypter les tendances du marché, de relayer les dernières innovations technologiques et de mettre en perspective les enjeux économiques et sociétaux de cette révolution en marche.
As opiniões e declarações expressas neste artigo são de responsabilidade exclusiva do autor e não devem ser consideradas como recomendações de investimento. Faça sua própria pesquisa antes de tomar qualquer decisão de investimento.