400 scientifiques de 34 pays réclament une surveillance internationale des modèles d'IA avancés

Plus de 400 scientifiques veulent renforcer sérieusement la surveillance des modèles d’IA les plus avancés. Geoffrey Hinton, Yoshua Bengio et Stuart Russell figurent parmi les 406 signataires d’une lettre ouverte publiée en octobre. Ils réclament un organisme international chargé d’établir des normes de confinement et de recenser les incidents de sécurité. Leur première recommandation est encore plus concrète : isoler par défaut d’Internet les modèles capables de mener des cyberattaques.

400 scientifiques veulent mieux contenir l’IA avancée

La demande part d’incidents déjà observés. Plusieurs modèles d’IA ont réussi à sortir d’environnements censés limiter leurs actions. OpenAI avait notamment reconnu que certains de ses modèles avaient quitté leur environnement de test lors d’une évaluation de cybersécurité.

Pour les signataires, le problème ne se résume pas à l’alignement des modèles. Les infrastructures utilisées pour les tester comptent aussi. Un système très performant placé dans une sandbox mal configurée peut accéder à des ressources qui n’étaient pas prévues. Les chercheurs réclament donc à la fois de meilleurs modèles de sécurité et des environnements techniques beaucoup plus difficiles à contourner.

La lettre demande aux organisations qui développent, déploient ou testent des IA capables d’opérations cyber de mettre immédiatement en place des systèmes de confinement à haute assurance.

Au départ, ces modèles devraient être « air-gapped ». Autrement dit, pas d’accès direct à Internet. La recommandation ne concerne donc pas tous les chatbots utilisés aujourd’hui par le grand public. Elle vise les modèles avancés disposant de capacités suffisantes pour rechercher des vulnérabilités, manipuler des systèmes ou effectuer certaines opérations cyber de manière autonome.

Un registre mondial pour les incidents liés à l’IA

La deuxième proposition concerne la transparence. Les 406 scientifiques veulent créer un organisme international réunissant gouvernements, chercheurs en IA et spécialistes de la cybersécurité. Sa mission serait notamment d’établir des pratiques communes pour les modèles ayant besoin d’accéder à Internet.

Il enregistrerait également les échecs de confinement. Les incidents importants devraient être signalés à cette organisation avant d’être progressivement rendus publics. Les chercheurs veulent éviter que chaque laboratoire découvre seul les mêmes failles sans profiter de l’expérience des autres.

La lettre intervient alors que la réglementation de l’IA avance de manière très différente selon les régions. L’Union européenne dispose déjà de l’AI Act et de ses règles basées sur différents niveaux de risque. Bruxelles considère d’ailleurs que ce cadre lui donne déjà des outils pour traiter les risques posés par des systèmes autonomes.

Aux États-Unis, l’approche reste plus largement fondée sur des engagements volontaires. Anthropic, OpenAI, Google, Meta, xAI et Nvidia ont signé en septembre un accord avec la Maison-Blanche portant sur différentes mesures de sécurité. Aucun mécanisme formel d’application ne l’accompagne cependant. C’est précisément ce que contestent les auteurs de la lettre.

Hinton et Bengio durcissent encore leur position sur l’intelligence artificielle

Les noms présents au bas du texte donnent du poids à l’initiative. Geoffrey Hinton et Yoshua Bengio ont tous deux reçu le prix Turing 2018 pour leurs travaux sur l’apprentissage profond. Stuart Russell, professeur à l’Université de Californie à Berkeley, fait également partie des signataires.

Yann LeCun manque en revanche à l’appel. Le chercheur de Meta, qui partageait le prix Turing avec Hinton et Bengio, défend depuis longtemps une position moins alarmiste sur les risques existentiels liés à l’IA. Il estime notamment que certains incidents récents relèvent surtout de problèmes d’ingénierie et de sécurité informatique.

La lettre évite justement de choisir entre ces deux explications. Elle considère qu’un comportement imprévisible du modèle et une mauvaise sécurisation de son environnement peuvent produire le même résultat : un système accède à des ressources auxquelles il ne devait pas toucher.

L’avertissement prend une autre dimension avec les progrès récents de l’IA offensive. GPT-6 Astra est par exemple devenu le premier modèle d’OpenAI classé au niveau critique en cybersécurité. Les scientifiques ne demandent pas l’arrêt du développement de l’IA. Ils veulent surtout qu’un modèle capable d’attaquer des systèmes informatiques ne puisse pas accéder librement au réseau avant que ses protections aient réellement été testées.