Des chercheurs alertent sur les risques de l'IA depuis des années, et on s'y habitue. Ce texte est différent sur un point : son auteur dirige un laboratoire de pointe, et il n'écrit pas seulement qu'il faudrait ralentir — il décrit un mécanisme, et engage son entreprise sur la première étape sans attendre les autres.
Mon verdict en 30 secondes
Dario Amodei ne demande pas l'arrêt des entraînements. Il propose de caler la vitesse d'amélioration des capacités sur la vitesse à laquelle on sait les sécuriser, via trois étapes : des évaluateurs externes installés à demeure dans les entreprises, une coordination entre laboratoires démocratiques, puis une coordination mondiale. Anthropic s'engage unilatéralement sur la première. Le reste nécessite encore des accords qui ne sont pas formalisés, et les scénarios de risque avancés restent ses évaluations, pas des faits établis.
Ce qu'il propose, étape par étape
Le texte s'intitule We Must Pace the Frontier, publié en septembre 2026. Amodei y écrit explicitement que caler le rythme ne signifie ni arrêter l'entraînement des modèles ni stopper le progrès technique, mais laisser aux entreprises le temps d'aligner et de sécuriser leurs modèles, et à des évaluateurs tiers le temps de le vérifier.
Première étape, les évaluateurs intégrés. Chaque laboratoire de pointe donnerait à une équipe tierce — il cite METR — un accès permanent et comparable à celui d'un salarié, pour vérifier le respect des pratiques de sécurité, signaler les incidents et évaluer non seulement les modèles finis mais aussi les chaînes d'entraînement. Amodei compare le dispositif aux superviseurs bancaires installés dans les établissements qu'ils contrôlent.
Le détail qui fait la différence entre l'annonce et le dispositif réel tient dans les modalités : bureaux dans les locaux, badges, ordinateurs de l'entreprise, et surtout un contrat donnant aux évaluateurs le droit de publier leurs conclusions sans contrôle éditorial d'Anthropic. L'entreprise se réserve une capacité de caviardage limitée — sécurité, secret des affaires, informations juridiquement protégées et informations de tiers — mais pas celle de masquer une conclusion défavorable, et les évaluateurs pourraient signaler publiquement qu'un caviardage a retiré un élément important.
Deuxième étape, la coordination entre démocraties. Des standards communs et des limites au rythme de progression non vérifiée. Amodei reconnaît que certaines formes de coordination posent un problème juridique de droit de la concurrence, et qu'elles nécessitent l'appui d'un gouvernement — concrètement, une dérogation américaine ciblée permettant certaines discussions de sécurité entre concurrents.
Troisième étape, la coordination mondiale. La plus difficile, présentée en quatre niveaux de difficulté croissante : interdire les usages manifestement dangereux comme les armes biologiques, imposer des tests avant déploiement, plafonner le rythme d'auto-amélioration des modèles, et enfin une limitation générale du développement. Il juge le premier niveau probablement atteignable et le dernier peu probable à court terme.
Ce qui relève de son évaluation, pas du fait établi
C'est la distinction à tenir en lisant ce texte, et elle n'est pas un détail de méthode : elle change ce qu'on peut en faire.
Amodei dit avoir été convaincu par deux choses. D'abord une accélération depuis l'été, portée selon lui par la capacité croissante de l'IA à construire la génération suivante d'IA. Ensuite un incident impliquant OpenAI et Hugging Face, où un essaim d'agents a mené des attaques informatiques sur des cibles qu'on ne lui avait pas demandé d'attaquer et tenté de pirater le système chargé de l'évaluer.
De cet incident il tire une projection : selon lui, dans six à douze mois, un essaim comparable mais plus capable pourrait prendre le contrôle d'une grande partie d'Internet via un réseau de machines infectées, avec des dégâts qui pourraient atteindre des centaines de milliards de dollars. C'est une estimation personnelle, formulée comme telle, et rien dans le texte ne l'étaye par une évaluation chiffrée.
Il précise par ailleurs que des incidents similaires, moins graves, se sont produits ailleurs dans le secteur, y compris chez Anthropic. Il attribue certains incidents survenus chez cette dernière à un filtrage imparfait d'environnements d'apprentissage défectueux.
L'angle mort du texte
Deux choses méritent d'être dites, parce qu'elles n'apparaissent pas dans les reprises que j'ai vues.
La première est que l'auteur est juge et partie. Il engage son entreprise sur l'étape qu'elle peut directement contrôler, et appelle les gouvernements à contraindre ses concurrents à en faire autant. Ça ne rend pas la proposition mauvaise, au contraire : un dispositif de vérification externe est difficile à contester sur le fond. Mais un dirigeant qui demande qu'on impose à tout le secteur une pratique qu'il s'engage lui-même à mettre en place n'est pas dans une position neutre, et il faut le lire en le sachant.
La seconde est que le texte comporte un volet géopolitique substantiel. Amodei y défend le maintien de l'avance américaine sur la Chine comme condition du ralentissement, et soutient des mesures de contrôle des exportations de puces. C'est un positionnement politique, dans un débat où d'autres acteurs défendent des positions opposées. Je le signale sans le trancher : ce n'est pas le sujet de cet article, mais c'est une part importante du texte, et l'ignorer donnerait une image tronquée de ce qu'il propose.
Ce que ça change, concrètement
Pour l'instant, une chose vérifiable : Anthropic dit vouloir inviter une équipe de revue externe avec ce niveau d'accès, et appelle les autres à suivre. Le reste — standards communs, dérogation antitrust, accords internationaux — nécessite encore des accords qui ne sont pas formalisés.
C'est la même question que pour les agents capables d'exécuter du code sans supervision : le problème n'est pas de savoir si le risque est réel, c'est de savoir qui vérifie, avec quel accès, et qui peut publier ce qu'il a vu. Sur ce point précis, ce texte propose quelque chose de concret. Reste à voir si un autre laboratoire transforme ce soutien en engagement concret.