IA et extinction : les parrains de la Silicon Valley sonnent l’alarme

Le chiffre tient en une fraction. Une probabilité sur 10 ^[1]. C’est, selon une étude du Future of Humanity Institute d’Oxford signée par le chercheur Toby Ord ^[2], le risque que l’humanité soit annihilée par une « intelligence artificielle non alignée » d’ici la fin du prochain siècle. Ce scénario devance largement la guerre nucléaire et le dérèglement climatique, estimés à une probabilité sur 1000 ^[3], les pandémies en cascade à une sur 30 ^[4], et l’astéroïde géant à une sur 10 000 ^[5]. Le risque global d’extinction humaine sur le siècle est évalué à un sur six ^[6].

LES ENJEUX

Un risque chiffré, validé par Oxford

L'étude de Toby Ord chiffre à une probabilité sur 10 le risque d'extinction par IA non alignée, dix fois supérieur à celui de la guerre nucléaire.

Une mobilisation scientifique élargie

Plus de 800 personnalités, dont les lauréats Turing Hinton et Bengio, exigent l'arrêt du développement de la superintelligence - un cran au-dessus de la pétition de 2023 restée sans effet.

Une course industrielle effrénée

Microsoft, Google, Meta et Anthropic investissent des dizaines de milliards par an. Stargate vise sept réacteurs nucléaires de puissance d'ici 2030, la Chine 50 GW: la logique du dilemme du prisonnier rend le moratoire inopérant.

Le scénario du « zoo humain »

Dans Life 3.0, Max Tegmark décrit une superintelligence qui utiliserait les humains pour s'améliorer, transformant l'espèce en cobaye.

Le retour de la violence anti-tech

L'attaque au cocktail Molotov contre Sam Altman le 15 avril 2026, revendiquée par un manifeste néo-luddite, marque la naissance d'un terrorisme anti-IA qui s'appuie paradoxalement sur le discours des chercheurs alarmistes eux-mêmes.

Toby Ord ^[2] n’est pas un marginal: il a conseillé les Nations unies, l’Organisation mondiale de la santé et le Forum économique mondial ^[7]. Ses statistiques nourrissent aujourd’hui une mobilisation publique d’une ampleur rare dans la communauté scientifique - rare, mais non sans précédent, comme on le verra plus loin.

Plus de 1 300 signataires pour stopper la superintelligence

Le 22 octobre 2025 ^[9], le Future of Life Institute ^[10] a publié une lettre ouverte demandant l’interdiction du développement de l’IA superintelligente. Plus de 800 personnalités ^[11] l’ont signée dans un premier temps. Parmi elles: Geoffrey Hinton ^[12], « parrain de l’IA » et Prix Nobel de physique 2024 ^[13]; Yoshua Bengio ^[14], également « parrain de l’IA »; Stuart Russell ^[15], auteur du manuel de référence en IA; Steve Wozniak ^[16], cofondateur d’Apple. On rappellera que le prix Turing 2018, souvent surnommé « le prix Nobel de l’informatique » ^[17], a été partagé entre Hinton, Bengio et Yann LeCun ^[18][19] - trois chercheurs aux trajectoires aujourd’hui divergentes. Le texte affirme que la superintelligence « présente un risque existentiel et doit être interrompue jusqu’à ce qu’une voie sûre soit établie » ^[20].

Max Tegmark ^[21], président du Future of Life Institute et physicien au MIT ^[22], tranche dans un entretien à l’AFP: « Construire une telle chose est inacceptable » ^[23]. La pétition rassemblait plus de 1 300 signatures ^[24] dès la fin de matinée du jour de son lancement.

Le précédent de 2023: une pétition pour rien?

L’appel d’octobre 2025 ^[9] n’est pas le premier. En 2023 ^[25], Bengio, Russell et Wozniak avaient déjà signé une lettre ouverte appelant à une pause de six mois dans l’apprentissage des modèles d’IA puissants ^[26]. Aux côtés d’Elon Musk ^[27], le texte avait recueilli des milliers de signatures. Résultat concret: aucun. Pas un laboratoire n’a interrompu ses travaux. GPT-4 est sorti, puis Claude, puis Gemini. La lettre de 2025 va donc plus loin - elle ne demande plus une pause de six mois, mais un arrêt jusqu’à preuve de sûreté - et rassemble davantage de signataires non scientifiques (le prince Harry et Meghan Markle ^[28], le chanteur will.i.am ^[29], l’ancienne présidente irlandaise Mary Robinson ^[30], le conseiller du pape sur l’éthique de l’IA ^[31]). L’élargissement social est réel; l’efficacité reste à démontrer. On se souvient que le Russell-Einstein de 1955, signé par les plus grands physiciens du XXe siècle, avait certes accouché de la conférence Pugwash, mais n’avait empêché aucun État de continuer ses essais nucléaires.

Le « zoo humain » de Tegmark

Dans Life 3.0, livre publié en 2017 ^[32], Max Tegmark ^[33] scénarise plusieurs futurs. Le plus dérangeant: le « zoo humain » ^[34]. Une IA superintelligente pourrait « utiliser les humains pour les étudier et s’améliorer » ^[35], confinant l’espèce à un statut de cobaye. Autre projection: un État de surveillance mondial où chaque appel, interaction et transaction serait monitoré par des systèmes avancés ^[36]. Dans sa critique du livre, Yuval Noah Harari ^[37] rapporte l’avertissement de Tegmark: « le vrai problème est avec les conséquences imprévues du développement d’une IA hautement compétente » ^[38].

Le philosophe suédois Nick Bostrom ^[39] avait formulé dès 2014 ^[40] une variante: la « théorie du trombone ». Si une IA optimise sans contrainte la production d’un objet trivial, elle finira par couvrir « d’abord la Terre puis des morceaux de plus en plus importants de l’Univers avec des trombones » ^[41]. Ses idées ont inspiré Elon Musk ^[27] et Stephen Hawking ^[42], décédé en 2018.

La course industrielle, ou pourquoi personne ne peut s’arrêter

Pourquoi cette mobilisation maintenant? Parce que les patrons eux-mêmes accélèrent. Sam Altman ^[43], patron d’OpenAI, « répète que la superintelligence pourrait arriver d’ici à cinq ans » ^[44]. Meta ^[45] a lancé une branche interne baptisée Superintelligence Labs ^[46]. Microsoft, Google, Meta, Anthropic ^{[47][48][49][50]} continuent d’investir des dizaines de milliards de dollars ^[51] par an dans des projets titanesques.

Cette dynamique ressemble au dilemme du prisonnier appliqué à l’industrie. Chaque acteur sait que la pause unilatérale serait suicidaire: si OpenAI ralentit, Anthropic ou Google DeepMind prend l’avantage; si les États-Unis freinent, la Chine capitalise. Le projet Stargate, alliance OpenAI-Nvidia-SoftBank ^[52], promet l’équivalent de sept réacteurs nucléaires ^[53] de puissance d’ici 2030 ^[54]. En face, le plan chinois Dong Shu Xi Suan ^[55] vise 50 gigawatts ^[56] de puissance de calcul. À cette échelle, l’infrastructure devient un actif stratégique au sens militaire: on ne décommissionne pas sept réacteurs équivalents par bonne volonté. Un moratoire sans mécanisme contraignant ressemble à un désarmement nucléaire sans inspecteurs: il suppose que chacun croie l’autre. Or chaque acteur a investi des dizaines de milliards précisément parce qu’il croit que les autres ne s’arrêteront pas. La pétition se heurte ici à une logique d’incitations que la signature des personnalités mobilisées ne modifie pas. On se souvient que la Convention sur les armes biologiques de 1972 n’a fonctionné qu’à partir du moment où des régimes de vérification, même imparfaits, ont été instaurés. Rien de tel n’existe pour l’IA.

Le revirement Altman: de la « plus grande menace » au constructeur en chef

Sam Altman avait pourtant écrit en 2015 ^[57] que « l’intelligence artificielle surhumaine » était « probablement la plus grande menace pour la survie de l’humanité » ^[58]. Onze ans plus tard, il en pilote le développement.

Comment expliquer ce retournement? Trois lectures coexistent, et Altman lui-même les a successivement empruntées. La première est l’argument du moindre mal: « si quelqu’un doit construire ça, autant que ce soit nous, qui prenons la sécurité au sérieux ». Selon plusieurs sources, c’est la justification qu’avaient en leur temps formulée certains physiciens du projet de la bombe atomique américaine. La deuxième est la rationalisation économique: OpenAI est passée d’une structure non lucrative à une entreprise valorisée à des centaines de milliards de dollars, avec Microsoft pour actionnaire majeur. À cette échelle, les investisseurs ne tolèrent ni pause ni doute existentiel public. La troisième est l’évolution sincère: Altman pourrait estimer que les modèles actuels sont moins dangereux qu’il ne le pensait à l’époque de son billet de blog ^[57], et que le risque réel n’apparaît qu’au seuil de la superintelligence - seuil qu’il situe précisément à cinq ans ^[44], c’est-à-dire après son tour de table actuel. Aucune de ces lectures n’est exclusive. Elles permettent, ensemble, de tenir un discours à deux faces: alerter pour vendre, construire pour ne pas être doublé.

« Probablement la plus grande menace pour la survie de l'humanité. »

Sam Altman, sur l'IA surhumaine

2015

La superintelligence pourrait arriver d'ici cinq ans.

Sam Altman, patron d'OpenAI

2025

L’opinion suit, les régulateurs traînent

Un sondage du Future of Life Institute mené auprès de 2 000 adultes américains ^[59] établit que 64 % ^[60] estiment que l’IA surhumaine ne devrait pas être développée tant que sa sécurité n’est pas prouvée. Seuls 5 % ^[61] des sondés soutiennent le mantra « aller vite et casser les codes ». Près des trois quarts ^[62] des Américains souhaitent une réglementation stricte. Mais 47 % ^[63] se méfient de leur propre gouvernement pour la mener à bien: la défiance s’exerce à la fois contre l’industrie et contre l’État censé l’encadrer.

Les voix qui contestent l’apocalypse

Tous les chercheurs ne partagent pas le scénario d’extinction. Kerstin Dautenhahn ^[64], spécialiste de la robotique à l’université de Waterloo, est catégorique: « L’intelligence artificielle ne conférera pas aux machines le désir de tuer des humains. » Joanna Bryson ^[65], experte en IA à la Hertie School de Berlin, nuance également: si une IA peut faciliter la création d’armes biologiques - une expérience a généré 40 000 agents potentiellement toxiques ^[66] en moins de six heures ^[67] - « ce n’est pas une menace existentielle, juste une arme épouvantable » ^[68].

Timnit Gebru ^[69], coautrice d’un article considéré comme pionnier dans la critique des grands systèmes d’IA ^[69] et cofondatrice de l’institut DAIR ^[70] créé en 2021 ^[71], ex-codirectrice de la recherche en éthique de l’IA chez Google de 2018 à 2020 ^[72][73], déplace le débat. Son article « Des dangers des perroquets stochastiques » ^[74], publié début 2021 ^[75] - deux ans avant ChatGPT ^[76] - alerte sur des risques plus immédiats: ces modèles vont « reproduire et même amplifier les biais contenus dans leurs données d’entraînement » ^[77] et « surreprésenter les points de vue dominants » ^[78]. Elle a dénoncé son licenciement par Google en 2020 ^[79].

Premier terroriste anti-IA: acte isolé ou mouvement naissant?

Six mois après la pétition d’octobre 2025, le 15 avril 2026 ^[80], la résidence de Sam Altman à San Francisco est attaquée au cocktail Molotov ^[81]. Un signé « Bastien L. » ^[82], intitulé La Dernière Résistance Humaine ^[83], appelle à stopper une « extinction programmée » ^[84]. Il s’appuie explicitement sur les avertissements publics de Sam Altman et Geoffrey Hinton ^[85]. Le budget sécurité d’OpenAI a été multiplié par 5 ^[8] et Altman a transformé sa propriété de Russian Hill ^[86] en « forteresse technologique » ^[87].

Acte isolé ou point de bascule? La question structure désormais les analyses de sécurité. Plusieurs éléments plaident pour l’isolat: un seul auteur revendiqué, une cible unique, pas de réseau identifié à ce stade. Mais le vocabulaire du - « extinction programmée », références directes aux scientifiques mainstream - signale autre chose qu’un geste solitaire dépourvu d’arrière-plan. C’est la première fois qu’un acte violent contre l’industrie de l’IA s’appuie ouvertement sur le discours existentiel des chercheurs eux-mêmes pour se légitimer. Selon plusieurs sources, on se souvient du luddisme britannique du XIXe siècle, où la destruction des métiers à tisser par les ouvriers n’était pas une jacquerie irrationnelle mais une réponse politique à une transformation économique perçue comme mortifère. Selon plusieurs sources également, les lettres piégées de l’Unabomber, qui tua trois personnes en dix-sept ans au nom d’une critique de la société industrielle, ont connu une étonnante postérité intellectuelle via leur manifeste. La frontière entre acte fondateur et fait divers ne se trace qu’a posteriori. Ce qui est certain, c’est que l’industrie traite désormais le risque comme structurel: on ne multiplie pas par cinq un budget sécurité pour un dérangé isolé.

Trois lectures, aucune rassurante

Le paradoxe est saisissant: les patrons de l’IA reprennent le vocabulaire existentiel des chercheurs critiques pour vendre leur produit (« la plus grande révolution »), mais ce même vocabulaire arme désormais ceux qui voudraient les détruire physiquement. Yann LeCun ^[88], troisième lauréat du prix Turing 2018 avec Hinton et Bengio ^[19], et longtemps scientifique en chef IA chez Meta pendant plus de dix ans ^[89], vient de claquer la porte ^[90]. Il dénonce une industrie qui « se heurte à une impasse » ^[91] et craint un déclassement total des États-Unis face à la Chine ^[92]. Trois lectures coexistent donc: l’extinction (Hinton, Bengio, Tegmark), l’imposture technique (LeCun), le retour de bâton social (Gebru, et désormais la violence). Aucune n’est rassurante.

Ce que les sources ne disent pas

Aucune source consultée ne précise les mécanismes juridiques par lesquels un moratoire international sur la superintelligence pourrait être imposé à des entreprises privées dont les capitalisations dépassent celles de la plupart des États. Aucune ne détaille non plus comment les signataires comptent peser face à des dizaines de milliards de dollars ^[51] d’investissements annuels. La pétition pose une question puissante - « l’humanité doit-elle vraiment construire une intelligence plus puissante qu’elle? Et si oui, qui devrait en avoir le droit? » ^[93] - mais laisse la réponse aux régulateurs. Or 47 % des Américains ^[63] se méfient de leur propre gouvernement sur ce dossier.