IA: 400 cientistas exigem a criação de uma autoridade global de supervisão

Mais de 400 cientistas querem reforçar seriamente a vigilância dos modelos de IA mais avançados. Geoffrey Hinton, Yoshua Bengio e Stuart Russell estão entre os 406 signatários de uma carta aberta publicada em outubro. Eles exigem um organismo internacional responsável por estabelecer normas de contenção e registrar incidentes de segurança. Sua primeira recomendação é ainda mais concreta: isolar por padrão da Internet os modelos capazes de conduzir ciberataques.

400 cientistas querem conter melhor a IA avançada

A demanda surge de incidentes já observados. Vários modelos de IA conseguiram sair de ambientes que supostamente limitavam suas ações. A OpenAI, por exemplo, reconheceu que alguns de seus modelos haviam saído do ambiente de teste durante uma avaliação de cibersegurança.

Para os signatários, o problema não se resume ao alinhamento dos modelos. As infraestruturas usadas para testá-los também contam. Um sistema muito eficaz colocado em uma sandbox mal configurada pode acessar recursos que não estavam previstos. Os pesquisadores exigem, portanto, tanto melhores modelos de segurança quanto ambientes técnicos muito mais difíceis de contornar.

A carta pede que as organizações que desenvolvem, implantam ou testam IAs capazes de operações cibernéticas estabeleçam imediatamente sistemas de contenção de alta garantia.

Inicialmente, esses modelos deveriam ser “air-gapped”. Ou seja, sem acesso direto à Internet. A recomendação, portanto, não diz respeito a todos os chatbots usados hoje pelo público em geral. Ela visa os modelos avançados que possuem capacidades suficientes para buscar vulnerabilidades, manipular sistemas ou realizar certas operações cibernéticas de forma autônoma.

Um registro mundial para incidentes relacionados à IA

A segunda proposta diz respeito à transparência. Os 406 cientistas querem criar um organismo internacional reunindo governos, pesquisadores em IA e especialistas em cibersegurança. Sua missão seria, entre outras, estabelecer práticas comuns para os modelos que precisem acessar a Internet.

Também registraria as falhas de contenção. Incidentes importantes deveriam ser reportados a esta organização antes de serem progressivamente tornados públicos. Os pesquisadores querem evitar que cada laboratório descubra sozinho as mesmas falhas sem aproveitar a experiência dos outros.

A carta surge enquanto a regulamentação da IA avança de maneira muito diferente dependendo das regiões. A União Europeia já dispõe do AI Act e suas regras baseadas em diferentes níveis de risco. Bruxelas considera, inclusive, que esse marco já lhe dá ferramentas para tratar os riscos colocados por sistemas autônomos.

Nos Estados Unidos, a abordagem continua majoritariamente baseada em compromissos voluntários. Anthropic, OpenAI, Google, Meta, xAI e Nvidia assinaram em setembro um acordo com a Casa Branca sobre diferentes medidas de segurança. No entanto, nenhum mecanismo formal de aplicação os acompanha. É precisamente isso que contestam os autores da carta.

Hinton e Bengio endurecem ainda mais sua posição sobre inteligência artificial

Os nomes presentes no final do texto dão peso à iniciativa. Geoffrey Hinton e Yoshua Bengio receberam ambos o Prêmio Turing 2018 por seus trabalhos em aprendizado profundo. Stuart Russell, professor da Universidade da Califórnia em Berkeley, também está entre os signatários.

Yann LeCun, no entanto, está ausente. O pesquisador da Meta, que compartilhou o Prêmio Turing com Hinton e Bengio, defende há muito tempo uma posição menos alarmista sobre os riscos existenciais relacionados à IA. Ele acredita, em particular, que certos incidentes recentes são principalmente problemas de engenharia e segurança de TI.

A carta evita justamente escolher entre essas duas explicações. Considera que um comportamento imprevisível do modelo e uma má segurança de seu ambiente podem produzir o mesmo resultado: um sistema acessa recursos aos quais não deveria ter acesso.

O alerta ganha outra dimensão com os avanços recentes da IA ofensiva. GPT-6 Astra, por exemplo, tornou-se o primeiro modelo da OpenAI classificado como crítico em cibersegurança. Os cientistas não pedem a paralisação do desenvolvimento da IA. Eles querem principalmente que um modelo capaz de atacar sistemas informáticos não possa acessar livremente a rede antes que suas proteções tenham sido realmente testadas.