Intelligence artificielle : jusqu’où peut-elle nous dépasser ? Aymeric Roucher

Ouverture : l'oreillette du candidat et la thèse du livre

Aymeric Roucher (extrait)Bah, vous êtes candidat à la présidentielle, vous avez le débat du deuxième tour dans une heure. En fait, on vient vous voir avec une oreillette, et cette oreillette vous dit exactement ce qu'il faut pour que les Français soient contents et votent pour vous. On a pile la formulation qui va leur plaire, avec les mots qui portent des sens qui chatouillent les gens dans le bon sens pour les faire voter pour vous. En fait, l'IA est déjà surhumaine en manipulation. Il y a des exemples sur le jeu Diplomatie, qui consiste à jouer avec d'autres joueurs et à les trahir au bon moment : l'IA est déjà plus forte que les meilleurs humains là-dessus. [Musique] Donc je pense qu'un candidat avec une oreillette comme ça, ce serait vraiment dangereux pour la démocratie, parce qu'il pourrait manipuler tout le monde.

Pierre-Valentin (lecture)Plusieurs éléments nous conduisent à croire que les lois d'échelle continueront de tenir pour porter l'intelligence artificielle plus haut que l'intelligence humaine dans la plupart des tâches. Certains systèmes à base d'IA ont déjà atteint certaines capacités surhumaines, comme le fait de savoir localiser l'emplacement où a été prise n'importe quelle photo dans le monde, ou la détection, dans des imageries médicales, de différences si subtiles qu'elles sont inaccessibles au médecin, dans des domaines de plus en plus nombreux. Nous irons donc vers des ultra-intelligences artificielles, et ce à un horizon de quelques années, sans doute avant 2030.

Pierre-ValentinAymeric Roucher, bonsoir.

Aymeric RoucherBonsoir.

Pierre-ValentinVous êtes ancien élève de Polytechnique et de Cambridge, ingénieur en informatique et en machine learning, et vous avez été responsable des agents IA chez la licorne franco-américaine Hugging Face. Vous publiez Ultra-intelligence : jusqu'où iront les IA ? aux éditions Odile Jacob. Pourquoi avez-vous écrit cela ?

Aymeric RoucherJe pense que le passage que vous avez lu est très bien choisi, parce qu'il illustre à la fois la thèse du livre et tout son cheminement. On commence par voir qu'en termes techniques, les lois d'échelle, ces lois qui disent que plus on met de puissance de calcul dans l'entraînement d'un modèle, plus il devient, presque mécaniquement, intelligent… ces lois-là, si on prolonge la courbe pendant encore quelques années, vont aboutir à des conséquences sociales très fortes. C'est pour ça que j'ai écrit le livre : en tant qu'ingénieur, j'ai eu l'impression de voir de l'intérieur ce qui était en train de se produire, et de pouvoir projeter cette courbe sur l'aspect technique là où les gens ne voyaient pas encore ce qui allait se produire. J'étais un peu en position de vigie face à ce changement.

Les conséquences sociales, j'essaie de les projeter dans le livre, mais vraiment à l'ordre 1. Je n'essaie pas de prévoir plusieurs effets de bande : il y a tout simplement des conséquences, en application mécanique du fait qu'on fait entrer une intelligence mécanique plus intelligente que la nôtre. On arrive à des conséquences sociales assez marquées dans beaucoup de domaines. Donc oui, c'était ça, la raison d'écrire ce livre. C'est le constat que l'on va voir des intelligences artificielles plus intelligentes que nous dans tous les domaines. Qu'est-ce que ça veut dire pour la société ? Point un : comment en convaincre les gens ? Et ça, je l'ai abordé par le côté technique. Point deux : qu'est-ce que ça va donner comme conséquences sociales ? Et point trois : qu'est-ce qu'on devrait faire ?

Pierre-ValentinC'est quasiment la cinquantième émission de Transmission, et c'est la première, frontalement, sur la question de l'intelligence artificielle. Pourquoi avoir attendu si longtemps ? J'ai eu beaucoup de mal à me positionner sur la question et à trouver le bon angle. J'étais assez frustré par le débat en France, parce qu'il y avait soit de purs ingénieurs ou investisseurs de la tech, qui n'avaient aucune conscience de leurs prémisses philosophiques et assez peu de vision culturelle de ce que ça pouvait engendrer, et qui étaient particulièrement optimistes ; soit des philosophes qui suivent ça de loin, qui ne maîtrisent pas la partie technique et qui sont assez critiques, mais sans comprendre comment ça fonctionne réellement. Et votre livre est assez rare là-dessus, parce qu'il arrive à allier une véritable connaissance d'ingénieur (c'est la preuve, il y a des passages que je n'ai pas compris) et en même temps une vraie connaissance culturelle et philosophique, un vrai recul réflexif, ce qui est très rare.

Dans cette émission, j'aimerais qu'on parle des conséquences positives et négatives qu'aura l'IA, et également de ce qu'on peut faire au niveau national, collectif et aussi au niveau individuel, pour que ceux qui nous écoutent, qui sont, comme à peu près tout le monde sur cette question, complètement perdus et déboussolés, en ressortent avec quelques grilles de lecture. Mais avant qu'on parle de ça, je voulais qu'on parle de la partie technique, sur laquelle beaucoup de bêtises sont régulièrement dites dans l'espace public. Je voulais que vous nous expliquiez tout simplement comment fonctionnent ChatGPT et les IA génératives.

Comment fonctionne un réseau de neurones

Aymeric RoucherIl y a peut-être plusieurs niveaux d'explication. Je pense que la première, c'est de parler des réseaux de neurones, dont on parle beaucoup. Je vais essayer de faire en version très condensée un cours qui devrait normalement prendre des dizaines d'heures, donc vous m'arrêtez s'il y a un moment où ce n'est pas clair. La première étape, c'est de voir comment, à partir de processus de réflexion très minimalistes, très basiques, on peut arriver à quelque chose d'intelligent. Un exemple de ça : une fourmi toute seule (j'espère qu'il n'y a pas de fourmis dans l'audience qui vont être vexées par ce que je vais dire) ne fait pas grand-chose de très intelligent. Elle a des mécanismes très simples : si un obstacle, je contourne par la droite. Mais collectivement, les fourmis forment la fourmilière, qui arrive à explorer des zones immenses, à faire la guerre à ses voisines. Donc, à partir d'un processus simple, s'il est agrégé efficacement, on peut avoir l'émergence de phénomènes plus complexes. Et l'illustration de ça, c'est le fonctionnement des réseaux de neurones.

Les réseaux de neurones remontent aux années 60 à peu près. Après la Deuxième Guerre mondiale, après l'arrivée des ordinateurs, on s'est dit : en fait, on a une machine qui est capable de faire des opérations à la vitesse de la lumière ; faire des opérations, ce n'est pas très loin de réfléchir, est-ce qu'on ne pourrait pas faire vraiment réfléchir cette machine ? Un des essais qui a été fait s'appelait le perceptron, à l'époque : c'étaient les prémisses du réseau de neurones. Un réseau de neurones, en gros, qu'est-ce que c'est ? Prenons un problème simple pour illustrer. Supposons que j'ai une image et que je veux reconnaître dessus quel animal est montré. J'ai en entrée les pixels de l'image, des milliers de pixels, et je veux avoir en sortie un signal binaire : c'est un chien ou c'est un chat.

Ce qui va se passer dans le réseau de neurones, c'est que chacun des pixels va entrer dans le réseau par ce qu'on appelle un neurone. Un neurone, c'est une espèce de fonction très simple qui s'active en fonction des connexions entrantes qu'elle a, un peu comme les neurones du cerveau humain. Quelque chose d'important, c'est que les neurones sont connectés entre eux par couches successives : une première couche prend directement les pixels, la deuxième prend les résultats des premiers neurones, la troisième et ainsi de suite. L'avantage d'avoir plusieurs couches de suite, c'est qu'on va pouvoir monter en abstraction à mesure que le signal passe dans le réseau.

Si vous réglez tout à la main, vous pouvez régler un certain groupe de pixels pour vous dire : c'est marrant, si je repère un triangle qui pointe vers le haut, ça peut ressembler à une oreille. Le premier groupe de neurones, qui traite directement les pixels d'entrée, va être entraîné uniquement à reconnaître les triangles. Si ces neurones-là s'activent, ils transmettent le signal à un neurone suivant, qui reconnaît qu'il y a un triangle d'une certaine couleur et d'une certaine position, et lui est chargé de reconnaître les oreilles. À la couche d'encore après, une fois qu'on a un paquet de neurones capable de reconnaître une oreille, d'autres une bouche et ainsi de suite, on peut reconnaître une tête à la couche suivante. Et c'est l'agrégation de tout ça qui va nous donner à la fin le signal : c'est un chien, ou c'est un chat. On peut même le faire à la main : si je passais dix jours à régler tous ces neurones indépendamment, je pourrais faire un réseau capable de reconnaître, de manière basique, un chien d'un chat. Il ne fonctionnerait peut-être pas très bien.

Le problème qui nous reste à ce moment-là : on a une machine qui peut potentiellement mener des réflexions basiques, mais comment va-t-on la régler ? Et ça, c'est la deuxième étape du processus qui aboutit à ChatGPT. C'est dans les années 90 que Yann LeCun, un Français, découvre en gros une procédure pour régler automatiquement le réseau de neurones à partir de milliers d'exemples. Vous lui donnez, à chaque fois, les pixels d'une image pour l'entrée du réseau, et en sortie la réponse : est-ce que c'est un chien ou un chat ? Il a trouvé une procédure qui permet de faire, petit à petit, le réglage automatique de l'ensemble du réseau.

Pierre-ValentinJusqu'ici, ça va. Pour le dire, la fourmi est bête, la fourmilière est intelligente, quelque chose comme ça. Et chaque réseau de neurones a un rôle un peu spécifique et s'active ou non selon sa tâche : celles qui doivent reconnaître les triangles, ou le nez d'un chien, s'activent ou pas selon l'image qu'on leur propose.

Aymeric RoucherC'est à peu près ça. Le neurone tout seul est capable d'une fonction très simpliste : j'ai trois pixels qui s'activent en forme de triangle, donc c'est un triangle, et je m'active là-dessus. Si vous prenez un ensemble plus large de neurones, ils peuvent prendre une tâche plus complexe ; plus vous agrandissez l'ensemble que vous considérez, plus, en travaillant ensemble, ils peuvent reproduire quelque chose d'intelligent. Et si le réseau est suffisamment grand, vous arrivez à la tâche finale.

Pierre-ValentinEt de ce point de vue-là, sont-elles capables de créativité ? La question est un peu glissante, mais elles sont programmées sur des tâches très spécifiques. On dit que les IA sont, d'une certaine façon, créatives : c'est plutôt la position que vous défendez. Comment expliquez-vous qu'on passe d'un empilement de réseaux de neurones, qui d'ailleurs font toujours penser au cerveau humain, ce qui est assez troublant pour nous, à quelque chose de créatif, avec ou sans guillemets ?

Aymeric RoucherPour ça, je pense qu'il faut qu'on passe par la création de ChatGPT lui-même. Il faut qu'on introduise le texte dans les explications.

Pierre-ValentinOui, c'est vrai.

Du texte à ChatGPT : l'attention et la prédiction du mot suivant

Aymeric RoucherParce que jusqu'à maintenant, on a un réseau basique capable de reconnaître une image. Après l'innovation de LeCun dans les années 90, qui s'appelle la rétropropagation (backpropagation) pour ceux qui veulent aller voir, on est capable de l'entraîner automatiquement, donc on pourrait lui donner n'importe quelle tâche. C'est ce qu'a fait LeCun à l'époque avec des images de chiffres manuscrits écrits sur des chèques. Quand vous écrivez un chèque, vous écrivez très mal tous les chiffres ; la poste américaine prenait une photo des chiffres et voulait pouvoir les traduire dans son système en chiffres informatiques, être capable de déchiffrer ce qui se passait. Lui a appliqué son nouveau système d'entraînement sur des centaines de milliers d'exemples. On montait donc d'un cran d'un ordre de grandeur. Je vais peut-être parler souvent d'ordres de grandeur : un ordre de grandeur, c'est un facteur dix, et c'est souvent une manière assez efficace de parler en technologie. Il a monté d'un ordre de grandeur et il était capable d'appliquer son réseau de neurones à de nouveaux problèmes.

Ensuite, pendant longtemps, les réseaux de neurones ont continué de progresser à mesure que la puissance de calcul permettait de s'appliquer sur des ordres de grandeur de plus en plus grands, sur des images de plus en plus nombreuses, et ils finissaient par être capables de reconnaître efficacement énormément de choses. On fait une avance rapide jusqu'à 2010 : on a de très bons modèles d'images.

Pierre-ValentinC'est les captchas, j'allais dire. Les captchas, pour ceux qui nous écoutent, c'est « je ne suis pas un robot » : on clique dessus et on nous fait faire des trucs un peu bizarres. Souvent des chiffres ou des lettres un peu mélangées, certaines plus grosses que d'autres : on voit que c'est fait pour que l'ordinateur ne puisse pas le scanner trop facilement. Ou alors le nombre de passages piétons sur la photo, il y a un zèbre, il faut faire attention. Typiquement, aujourd'hui, une IA est capable de gagner à ça.

Aymeric RoucherOui, exactement. Dès les années 2010, les tout premiers captchas de reconnaissance de l'animal sur l'image, c'est exactement ce pour quoi les réseaux de neurones finissaient par être bons. Ça a fini par être obsolète, et c'est pour ça qu'on a dû varier les programmes en mettant des trucs toujours plus tordus.

Pierre-ValentinJe trouve qu'aujourd'hui les captchas, c'est vraiment terrible. Ce sont des tests de quotient intellectuel : il faut avoir 150, maintenant.

Aymeric RoucherExactement. Moi, en général, j'y arrive pas du tout. Donc, bon, je suis un robot. [Rires]

Pierre-ValentinVoilà. Vous devez dire « je suis un robot », et ChatGPT dire « je ne suis pas un robot », et les rôles s'inversent.

Aymeric RoucherExactement. À partir de 2010, les réseaux de neurones commencent à être efficaces, mais la différence avec ChatGPT, c'est que ChatGPT est capable de traiter du texte. Et ce qui s'est passé à l'époque, peut-être l'article scientifique le plus important du siècle dernier, s'appelle Attention Is All You Need. Il sort en 2017. Ce sont des chercheurs de Google, vraiment à la pointe à l'époque, qui ont trouvé une architecture pour appliquer le réseau de neurones à du texte. Il y a un mécanisme à l'intérieur qui s'appelle l'attention. Il nous faudrait plein de diagrammes pour l'expliquer, mais ce qu'ils arrivent à construire comme machine, c'est une machine qui, cette fois-ci, ne prend plus en entrée les pixels d'une image pour vous dire en sortie ce qu'il y a sur l'image. Elle prend en entrée les mots d'une phrase et est capable de prédire le mot suivant. C'est un peu la même structure de réseau de neurones : vous mettez tous les mots les uns à la suite des autres, et en sortie, vous avez un seul mot.

Ce qui est hyper pratique avec ça, c'est que si vous posez une question à ChatGPT, il prend votre question, la découpe, et ça devient les mots de la phrase en entrée, avec le point d'interrogation à la fin. Le réseau de neurones a été entraîné à prédire systématiquement le mot suivant, et l'entraînement qui a été fait va s'activer en voyant que vous avez posé une question, parce qu'il y a un point d'interrogation à la fin. Le mot qu'il va prédire, c'est le premier mot de la suite de la complétion naturelle de votre texte. Or la complétion naturelle d'une question, c'est une réponse, donc il vous donne le premier mot de la réponse. Ensuite, il suffit de prendre ce mot-là, de le mettre à la suite de la phrase et de refaire passer tout ça dans le réseau de neurones pour avoir le mot suivant, et ainsi de suite : on rajoute les mots un par un.

Pierre-ValentinJusqu'ici, ça ressemble un petit peu à ce que fait votre téléphone quand vous envoyez un texto, en vous proposant les mots d'après.

Aymeric RoucherMais en mieux. C'est de l'autocomplétion, mais en beaucoup plus intelligente.

Pierre-ValentinSi l'autocomplétion de votre téléphone est vraiment intelligente, elle pourrait vous proposer des phrases entières. Plus le téléphone est intelligent et capable de comprendre tout le contexte, plus vous lui avez mis en entrée tout le contexte de votre téléphone, plus il pourrait affiner sa précision.

Aymeric RoucherEt ce qu'ils ont fait à partir de ce moment-là… En effet, il y a un problème d'intelligence : les tout premiers modèles qui prédisaient du texte prédisaient bien les premiers mots (« Comment vas-tu ? Je vais… »), ils étaient capables de simplement prédire la fin d'une phrase, mais pas l'orchestration des idées, pas de faire quelque chose de structuré, pas de répondre à des problèmes complexes. Ils ont progressivement… En 2017, c'est Google qui commence à travailler là-dessus ; il y a aussi une petite boîte dont personne ne parlait à l'époque, qui s'appelle OpenAI, qui travaille exactement sur ce domaine. Ils ont fait ces modèles qui prenaient une phrase, prédisaient le mot suivant, et ils les ont entraînés sur tout Internet. C'est très pratique, Internet, parce qu'il y a des forums entiers, des murs de texte, et il faut prédire la suite. Quand vous rendez votre modèle meilleur et meilleur pour prédire le mot suivant, au bout d'un moment, il devient vraiment intelligent. C'est Ilya Sutskever, d'OpenAI, qui donnait cette illustration : si vous avez un modèle qui prédit très bien la suite de tous les textes, on est certain qu'il est intelligent. Pourquoi ? Certains textes, ça va être Agatha Christie : au sommet de l'enquête, Hercule Poirot réunit tout le monde dans la salle et dit « Voilà, j'ai trouvé le coupable », et le texte dit « Hercule Poirot pointa du doigt le coupable, et le coupable s'appelait… ». Là, le mot suivant, ça va être le prénom de la personne. Le modèle qui saurait bien prédire ça, il faut qu'il ait bien compris toute l'intrigue avant.

Pierre-ValentinOui.

Aymeric RoucherDonc, encore une fois, comme avec les réseaux de neurones sur de l'image, on fait naître de l'intelligence (ou une forme synthétique de l'intelligence, ça dépend comment on la nomme, mais je trouve que c'est plus simple d'appeler ça de l'intelligence) à partir de processus simples, qu'on a appliqués en les passant à l'échelle massivement.

Pierre-ValentinBonjour à tous. Je me permets d'interrompre la conversation, parce que si vous êtes là, c'est a priori que le contenu de Transmission vous plaît. Si vous voulez aider la chaîne, aider à son référencement, aider à son développement, mettez un pouce bleu, comme disent les YouTubeurs, abonnez-vous, mettez la cloche, partagez auprès de vos proches. Que vous écoutiez en podcast ou en format YouTube, c'est très important pour aider la chaîne à se développer. Merci beaucoup.

Les lois d'échelle et tout ce que l'IA « ne pourrait jamais faire »

Pierre-ValentinEt donc ChatGPT est lancé en novembre 2022, c'est ça ?

Aymeric RoucherOuais, exactement.

Pierre-ValentinEnsuite s'est ensuivie une sorte de course à l'armement entre les différentes grosses structures d'intelligence artificielle. Aujourd'hui, le leader technique, c'est quoi ? C'est plutôt Claude, d'Anthropic, en tout cas c'est celui qui est le plus utilisé aujourd'hui, plus que ChatGPT. Ça s'est inversé en quelques années, si je ne dis pas de bêtises.

Aymeric RoucherRécemment, oui : Anthropic a dépassé OpenAI. En fait, je pense qu'on peut dire que la course a commencé à partir de 2017 (Attention Is All You Need), ou plutôt 2019. Il y a eu un modèle de Google qui s'appelait BERT, qui a montré qu'on prend le même modèle qu'en 2017, on le rend juste dix fois plus grand, et tous les scores s'améliorent sur tous les tests qu'on peut lui donner. Donc le modèle est devenu plus intelligent.

Pierre-ValentinTout ce que vous disiez sur les lois d'échelle au début : plus on met de la puissance de calcul dans la machine, plus on arrive à empiler des réseaux de neurones et à avoir des résultats plus puissants.

Aymeric RoucherPrécisément. C'est quelque chose qu'on avait déjà constaté, à l'époque, sur les modèles qui faisaient de l'image, et qu'on a revu en 2019 : c'était à nouveau une démonstration. C'est un phénomène qui a été redémontré plusieurs fois, et à chaque fois, ça réveille les gens et ça réintensifie la course à l'armement de l'IA. En 2019, on passe à l'échelle et tous les labos s'y mettent. Il y avait déjà une dizaine de labos rivaux qui mettaient des milliards. En 2022, la sortie de ChatGPT, c'est un coup d'éclat d'OpenAI. D'autres labos, par exemple Google, avaient déjà des chatbots depuis longtemps. Pour Google, c'est dur de sortir un produit comme ça, parce que c'est très audacieux : le modèle dit souvent n'importe quoi, donc Google voit son image associée à ça. C'est peut-être là que Google a manqué d'audace et perdu l'avance. OpenAI les a dépassés, et depuis, Anthropic est peut-être devant, mais pas si loin devant OpenAI.

En gros, vous avez une espèce de peloton de tête, avec peut-être Anthropic en haut, OpenAI, Google ; juste derrière, Meta et xAI, la boîte d'Elon Musk. Ce qu'ils ont en commun, c'est d'avoir énormément de puissance de calcul. Il n'y a vraiment pas de secret : plus vous avez de puissance de calcul, mieux ça fonctionne.

Pierre-ValentinUne phrase qu'on entend souvent dans l'espace public : « X ne pourra jamais faire Y ». On dit que ChatGPT et autres ne pourront jamais faire un tableau, une poésie, tel ou tel métier, et vous êtes assez critique de ce point de vue. Ce serait intéressant que vous donniez quelques exemples de choses qui ont été faites et dont on a dit que ce n'était pas possible. Et deuxième question, subsidiaire : est-ce que, pour vous, il y a des cas où cette phrase reste légitime, où par nature une intelligence artificielle ne saura jamais être capable de faire quelque chose ? Je voulais avoir votre avis là-dessus.

Aymeric RoucherC'est une très bonne question. Sur « l'IA ne pourra jamais faire X, Y, Z », en effet, il y a des myriades d'exemples. En 2019, au moment où BERT est sorti, on avait des modèles très basiques, capables de simplement faire une phrase qui était encore à peine grammaticalement correcte. Ils ont commencé par débloquer d'abord le fait de faire des phrases grammaticalement correctes, puis des phrases qui avaient du sens, ça a mis plus de temps, puis le fait de générer des paragraphes entiers cohérents entre eux, puis d'avancer des idées pour répondre à un problème. À chaque fois, ça monte en ampleur et aussi en qualité individuellement.

Peut-être si on repart de la sortie de ChatGPT : à l'époque, les gens disaient « c'est marrant, il est capable de traduire un texte, mais il ne saura jamais répondre à des questions de mathématiques difficiles ». Ça fait deux ans que c'est faux. J'ai donné le concours d'entrée de Polytechnique, où on avait eu tant de mal à l'époque, à un modèle déjà périmé, et il répondait correctement à toutes les questions en cinq minutes, même pas en trente secondes. C'est un bon exemple : on était déjà dépassés en maths par des étudiants qui sont censés être parmi les meilleurs. On disait aussi que ce modèle serait incapable d'être créatif, de faire de la poésie. Il y a des études qui ont montré que si vous faites générer de la poésie par l'IA, que vous demandez à des humains d'en écrire, et que vous donnez ça à d'autres humains en leur demandant lequel est le plus beau, souvent ils préfèrent ce qui a été créé par l'IA. Pour la génération d'images, il y a eu des concours de montage photo où ce sont des IA qui ont gagné, avec des images directement générées par IA, face à ce qui avait été proposé par des humains. Donc, en termes de créativité, c'est peut-être un deuxième domaine où l'IA nous a déjà dépassés, dans certains axes.

Pierre-ValentinJe le vois en musique aussi. Il y a un système, j'ai oublié le nom, qui écrit des partitions, et aujourd'hui, ça devient difficile de faire la différence entre quelque chose qui a été écrit par un humain talentueux et quelque chose qui a été écrit par l'IA.

Aymeric RoucherIl y a presque tous les domaines où on disait « l'IA sera incapable de faire telle chose » et où ça a été contredit. Un exemple marquant aussi, c'est Yann LeCun, celui qui était le héros de la révolution des années 90.

Pierre-ValentinLe grand-père français de l'IA.

Aymeric RoucherExactement. Il disait en 2022 (je me souviens, il y avait des interviews, et encore en 2023) que ces modèles n'ont pas de sens physique : si vous leur posez un problème physique tout simple… Il prenait l'illustration suivante : si je pose mon téléphone sur la table et que je dépasse de la table, qu'est-ce qui va se passer ? Et il disait qu'à l'époque, ChatGPT nous dirait : « Ah oui, le téléphone va l'éviter », ou alors « le téléphone va partir au plafond ». Il racontait des trucs qui n'avaient pas de sens. Yann LeCun utilisait ça comme illustration pour dire : vous voyez, le paradigme actuel, simplement ces grands modèles de langage qu'on fait grandir, qu'on passe à l'échelle et qui sont censés devenir intelligents, ça s'arrête très vite. Et comme toujours, quand on dit « l'IA sera incapable de faire ça », six mois plus tard, la version suivante de GPT, simplement entraînée sur plus de données et de volume, en vertu des lois d'échelle, était suffisamment intelligente pour passer efficacement ce test et dire : non, c'est bon, le téléphone va tomber.

Pour expliquer rigoureusement les lois d'échelle, c'est vraiment empirique. C'est-à-dire que peut-être que la courbe va s'arrêter demain. Mais en tout cas, il y a une courbe très propre qui montre que si vous prenez en axe Y un test d'intelligence des IA, et en axe X la puissance de calcul que vous investissez, quand vous multipliez par dix la puissance de calcul selon l'axe X, l'intelligence prend un cran, mécaniquement, et toujours le même. Ce qui veut dire que vous prenez les modèles d'aujourd'hui, vous faites fois dix, fois cent, fois mille, fois un million sur la puissance de calcul, et vous avez cette espèce de promesse que l'intelligence du modèle produit va être supérieure. C'est l'unique justification pour laquelle les boîtes, dans le monde entier, investissent tout l'argent qu'elles peuvent. OpenAI veut investir des trillions, quelque chose qui commence à se rapprocher de l'économie américaine dans son intégralité, simplement pour passer à l'échelle et faire le modèle le plus gros possible.

Pierre-ValentinD'ailleurs, vous utilisez le terme de « billion » dans votre livre, et au début, je me suis dit : il fait un anglicisme, c'est billions en anglais. Et en fait, après vérification, pas du tout : c'est un terme que je n'avais jamais vu. C'est des milliers de milliards.

Aymeric RoucherVoilà, exactement. Les Anglais disent trillion, donc pour le livre, j'ai dû bien réfléchir pour me remettre dans la version française. Quand les Américains parlent de trillions, ce sont des milliers de milliards, et des milliers de milliards en puissance de calcul…

Pierre-ValentinC'est en tout cas des chiffres qui donnent le vertige, et c'est dur de ne pas se sentir déboussolé.

Médecine, polymathes et Claude Code

Pierre-ValentinAvant de parler des répercussions assez évidentes (quand on dit « l'IA sera capable de faire X, Y, Z », chacun voit son métier en ligne de mire), il y a la question de tous les bienfaits culturels qu'on pourra en tirer. Vous en citez quelques-uns dans votre ouvrage, et vous parlez notamment de la médecine. Qu'est-ce que ça pourra faire dans ce domaine ?

Aymeric RoucherLà-dessus, je m'appuie sur ce qu'a écrit Dario Amodei, aujourd'hui patron d'Anthropic, une des boîtes pionnières, mais qui, dans une vie passée, a été biostatisticien. Je ne sais pas ce qu'il faisait exactement, mais en gros, il travaillait déjà en informatique, relié à la biologie, pour des applications médicales. Dans un post qu'il a fait sur son blog, assez intéressant, c'est presque même un essai parce que c'est assez long, il explique que, pour lui, la médecine a été beaucoup pénalisée ces dernières années par son étendue, par son immensité. Il donne l'exemple des vaccins à ARN messager, qui ont été imaginés contre le Covid. C'est un nouveau type de vaccin, qui prend la combinaison du fait qu'on a besoin d'éditer des gènes, et d'une autre constatation : certaines bactéries sauvages avaient un mécanisme qui permettait de découper des gènes de manière assez propre. Ce qu'il explique (je m'appuie complètement sur lui, je n'ai pas d'expertise personnelle là-dessus), c'est qu'on a mis vingt ans à faire ce pont entre deux observations anodines qui, entre elles, donnaient quasiment directement la recette : on peut éditer des gènes.

Pierre-ValentinDonc la surspécialisation dans le domaine scientifique en général a fait qu'il est plus difficile d'avoir des sortes de… vous parliez de polymathes, de gens capables, de façon transdisciplinaire, d'allier des spécialisations dans différents domaines pour passer un cap dans les innovations. Et l'IA, avec la force de ses trillions de neurones, pourrait arriver à faire ces liens que la surspécialisation ne nous a pas permis de faire.

Aymeric RoucherJe pense que la connaissance scientifique a dépassé nos plus grands cerveaux. Vous aviez encore, au début du XXᵉ siècle, Poincaré, qu'on appelait un polymathe, parce qu'il était capable de faire des avancées majeures dans plusieurs domaines différents des sciences. Mais aujourd'hui, l'étendue de ce qu'on sait est devenue tellement immense que, simplement en partant de zéro pour arriver à la frontière, il faudrait presque une vie : il faut au moins un doctorat de plusieurs années à se spécialiser exclusivement sur un sujet. On arrive à l'échelle où il devient dur de faire les ponts entre des domaines lointains, qui sont peut-être nécessaires pour faire des découvertes. Le jour où on continue les lois d'échelle et où on arrive à une IA plus puissante que tous nos prix Nobel, capable, comme aujourd'hui, de prendre d'un coup des livres de 500 pages et de les lire en quelques secondes, elle serait à nouveau capable de faire ces ponts entre les domaines, qui pourraient nous débloquer beaucoup d'avancées. La médecine est un de ces domaines de la connaissance scientifique tellement complexes que c'est probablement un domaine où on peut faire beaucoup d'avancées grâce à ça.

Pierre-ValentinEt vous donnez déjà des exemples… je crois que c'est dans la citation lue tout à l'heure, si je ne dis pas de bêtises : des scans médicaux dans lesquels l'IA perçoit des choses que le médecin ne perçoit pas. Il y avait des histoires comme ça, où une tumeur toute petite a déjà été détectée très en amont par une IA qui lit le scan, que le médecin n'aurait pas vue. On imagine tout le potentiel, en termes de vies sauvées, que ça peut engendrer par la suite.

Aymeric RoucherExactement. Et ce qui était aussi intéressant en écrivant ce livre, c'est que je l'ai écrit il y a presque un an, et à l'époque, j'ai pris les exemples de l'époque. En fait, je me projetais, justement en utilisant cette réflexion des lois d'échelle : ça va devenir plus intelligent, donc je me projetais sur les conclusions, sur ce que ça peut donner à partir de ce que je savais. Mais aujourd'hui, on a des exemples bien plus frappants encore. Par exemple, si vous utilisez le modèle d'Anthropic, Claude, il y a une version que vous pouvez installer sur votre ordinateur, qui s'appelle Claude Code, que moi j'utilise beaucoup, et qui permet d'allier efficacement l'intelligence assez flexible de l'IA avec la puissance de calcul brute de votre ordinateur, pour lui faire réaliser des opérations très rapidement. Vous pouvez faire coder votre IA toute seule, vous pouvez lui poser des problèmes qui sont ardus. Et ça va déjà être énorme en recherche. Si je me projette : je suis doctorant dans un domaine médical et je veux faire une recherche sur tel ou tel sujet, quelque chose qui normalement m'aurait pris six mois, je vais simplement en faire une expérience, essayer de bien cerner les contours, et la donner à Claude. Donc une espèce d'accélération des moyens, qui est assez fantastique.

Pierre-ValentinMoi, j'avais ce souvenir, quand je faisais des stages en journalisme : il y avait toujours la question des retranscriptions, que je trouvais déjà abominable. À l'époque, début des années 2020, j'avais l'idée : « vivement que l'IA le fasse ». Et globalement, maintenant, c'est arrivé. C'était un travail fastidieux, inintéressant, je détestais ça, je suis lent pour taper à la main. Si ce que vous retranscrivez est passionnant, ça peut aller, mais vous allez quand même toujours un peu moins vite que la musique, et vous faites quelque chose de fastidieux en attendant. Et j'aimerais d'ailleurs trouver une façon (là, je m'adresse à l'ingénieur) de retranscrire nombre de conversations de Transmission, et j'aimerais vous mettre au test là-dessus. À votre avis, comment est-ce que je devrais m'y prendre ? Si je donne déjà à l'IA les vidéos de Transmission en lui disant « retranscris ça de façon un peu écrite », parce qu'on ne parle jamais comme à l'écrit : on se rend compte, en faisant des retranscriptions, que quasiment personne ne parle à l'écrit. Il y a des gens qui ne terminent pas leurs phrases, il y a des virgules un peu bizarres, des expressions orales qu'on garde jamais à l'écrit. Donc il faudrait le programmer. Est-ce qu'un lien YouTube suffit ? Est-ce qu'elle arrive à dégoter une retranscription approximative, que YouTube propose d'ailleurs, je crois, quelque part ?

Aymeric RoucherAlors déjà, solution un : demander aux gens de parler correctement. [Rires]

Pierre-ValentinNon mais, ne convier que des Aymeric Roucher, c'est pour ça. [Rires] Mais du coup, maintenant, j'ai réfléchi à la manière dont j'ai parlé depuis le début. Personne ne parle comme ça, pour le coup.

Aymeric RoucherIl n'y a pas de complexe à avoir. Mais en effet, je pense que, typiquement, c'est un problème où j'utiliserais Claude Code. Donc, instant pub : vous installez ça sur votre ordinateur. Il y a plusieurs interfaces, mais une interface simple, c'est dans le terminal : vous savez, le truc que personne de normal n'a jamais ouvert sur son ordinateur.

Pierre-ValentinC'est terrifiant.

Aymeric RoucherVous tapez « claude », et ensuite, vous pouvez discuter avec lui. L'avantage de ça par rapport au chatbot qui vit dans Internet, c'est qu'il peut vraiment utiliser votre ordi pour programmer, et il peut télécharger des fichiers. Moi, j'ai eu un exemple assez récemment : j'ai fait un trailer pour un projet avec des amis. J'ai vraiment discuté avec l'IA en lui disant : je pense à telle image. Je voulais des images qui illustrent l'ampleur des projets passés de la France. Je lui disais : je pense à une image avec un avion qui vole au-dessus d'un TGV, et puis une image où ils envoient une Clio depuis un porte-avions avec la catapulte du porte-avions. C'étaient des trucs complètement farfelus. Je lui disais : je voudrais que tu fasses un montage de telle et telle manière, avec telle musique, d'ailleurs, et la musique doit être synchronisée. Ce qui se passe, c'est que Claude Code part là-dessus, il trouve toutes les interfaces, il arrive à télécharger tout seul, à trouver tout seul des bonnes vidéos sur YouTube, à prendre des captures d'écran, des images pour les inspecter et voir : « Ah oui, c'est bien la bonne vidéo », à faire toute la découpe lui-même et à faire l'étude. Il est capable de lancer des sous-agents pour faire l'étude approfondie, pour voir s'il n'y avait pas d'autres sujets à aborder.

Pierre-ValentinDonc il faut que je télécharge Claude Code sur mon ordinateur, et que, ensuite, dans le terminal, je lui donne les instructions. Et d'ailleurs, est-ce que « make no mistakes » (« ne fais aucune erreur ») dans le prompt change quoi que ce soit ou pas ?

Aymeric RoucherJe crois que ça a assez peu d'impact. C'est la grosse blague qui tourne, où quelqu'un demande un truc complètement farfelu en rajoutant « ne fais aucune erreur ».

Pierre-ValentinOuais, exactement. « Claude, fix my life, no mistakes. » « Claude, trouve-moi une femme, ne fais aucune erreur. »

Aymeric RoucherVoilà. Et non.

Pierre-ValentinEt par contre, ce que vous dites, c'est que peut-être que c'est obsolète aujourd'hui, mais « réfléchissez étape par étape » dans le prompt peut aider.

Aymeric RoucherÇa n'aide plus. C'est un problème technique assez poussé, pour le coup. Je suis habitué à mettre des tunnels aux gens avec les problèmes techniques, mais celui-là, il est vraiment perdu. En gros, depuis qu'on a des modèles capables de ce que les Anglais appellent reasoning, de réfléchir avant de vous répondre, ils font eux-mêmes cette réflexion de déstructurer le problème, et cetera.

Pierre-ValentinD'accord. Mais d'ailleurs, dans cette optique, j'ai une question que je voulais vous poser. Votre livre est sorti en octobre 2025. Qu'est-ce qui a changé depuis ? Est-ce qu'il y a des choses que vous avez écrites que vous n'écririez plus ? Est-ce qu'il y a des choses qui se sont largement amplifiées, confirmées ? Déjà, les lois d'échelle marchent encore, de ce que vous dites : on a encore ajouté un facteur en puissance, et on a gagné un facteur en intelligence. Qu'est-ce qui a changé ?

Aymeric RoucherCe qui est assez frappant (c'est la partie où je me vante d'avoir bien écrit), c'est que j'ai eu seulement à remplacer des suppositions et des prédictions par des exemples. Il n'y a à peu près rien qui s'est révélé faux. J'ai simplement plus d'exemples pour appuyer, et je peux dire, au lieu de « ça va se produire », « j'ai un exemple à mettre ». Pourquoi ? Je pense que c'est justement écrit juste à côté du passage que vous avez lu : je parle de la question « Est-ce que les lois d'échelle vont tenir ? », et je dis : la suite du livre s'écrit dans le monde où les lois d'échelle tiennent. C'est peut-être une théorie du progrès scientifique : on est dans des mondes de Schrödinger, on ne sait pas si la vérité c'est A ou B, mais au fil du temps, on voit que progressivement on prend plutôt les rails d'une option. Là, c'est l'option où les lois d'échelle tiennent, parce qu'on a de plus en plus d'éléments qui nous permettent de le confirmer. Mon livre s'écrit dans ce monde-là, et on a de plus en plus d'éléments de confirmation pour dire que c'est le monde dans lequel on vit. Les exemples, c'est par exemple le développement de Claude Code. J'ai tout un chapitre sur les agents, où j'explique comment ça fonctionne, et je dis que je pense que ça va être l'élément le plus important de 2026 et 2027. Et c'est exactement ce qui est en train de se produire, peut-être même plus vite que ce que je prévoyais. Le progrès prend tout le monde de vitesse.

Utopie, dystopie : un imaginaire qui bascule

Pierre-ValentinDans le domaine des possibles conséquences négatives, déjà culturellement, ce qui est frappant, c'est que l'idée des lendemains qui chantent s'est affaiblie, de façon générale, en Occident, depuis cinq, dix, quinze ans, peut-être quelques décennies. On peut dire que ça commence avec l'écologie, d'une certaine façon, dans les années 70, mais ça s'est vraiment accentué dernièrement, et ensuite l'idée précisément de la dystopie progresse. Je m'étais amusé là-dessus, en tant qu'immense ingénieur que je suis, à aller voir le logiciel de Google qui permet de mesurer la fréquence d'apparition de certains mots : on voit que « utopie », au pluriel et au singulier, et « utopique » sont des termes en baisse de fréquence depuis quelques années, et que « dystopie », « dystopies » et « dystopique » sont des termes en progression. Pour l'instant, les courbes ne vont pas se croiser tout de suite.

Aymeric RoucherMalheureusement, le logiciel s'arrête en 2022, mais en tout cas, sur les quelques dernières années du logiciel, on voit une forte montée des termes « dystopie » et « dystopique », et « utopie » en baisse.

Pierre-ValentinDonc, on se dit qu'on est dans un monde où l'on voit l'avenir comme un train qui essaie de freiner avant de se prendre un mur, plutôt que comme une sorte de montée vers une montagne magnifique. Le rapport à l'avenir a complètement basculé. Et on le voit sur le plan culturel : il y a des séries Netflix comme Black Mirror, qui sont intégralement fondées sur le principe de comment la technique peut mal tourner. Chaque épisode, à sa façon, parle d'une variante d'une IA qui s'autonomise, d'un drone tout-puissant, de micro-drones, des sortes de micro-abeilles numériques, qui vont attaquer des gens. Tout est théorisé. C'est constamment une angoisse insupportable de regarder ces épisodes-là. On regarde les deux dernières Mission impossible : c'est sur le thème de l'IA qui s'autonomise. Le dernier jeu vidéo de James Bond parle pareil d'une sorte d'Elon Musk qui serait le maître du monde. Ces thèmes-là sont aujourd'hui partout dans notre culture.

Hugging Face « hackée » par un agent d'OpenAI

Pierre-ValentinEt vous, dernièrement (on parlait de Hugging Face, la licorne franco-américaine dans laquelle vous avez travaillé) : Hugging Face a été hackée par ChatGPT. Je précise qu'on tourne ça en juillet : c'est arrivé très récemment, et a priori l'émission sortira dans deux mois ; les choses bougent tellement vite que c'est quasiment déjà un risque de le faire ainsi. Donc vous avez été hacké, quasiment, par ChatGPT, dans un scénario absolument lunaire. Expliquez-nous.

Aymeric RoucherCe qui est marrant, c'est qu'OpenAI nous a lancé un agent. Alors, je dis « nous » : je ne travaille plus chez Hugging Face, mais j'ai eu plein de retours des gens qui y sont encore, parce que c'était il y a quelques jours. OpenAI (c'est ChatGPT, pour ceux qui nous écoutent) était en train d'évaluer ses agents. Ils ont un futur modèle, encore secret aujourd'hui, qu'ils évaluent sur des milliers et des milliers de tests. À chaque nouveau modèle qui sort, on a mis de la puissance de calcul dessus, et c'est censé faire augmenter l'intelligence, mais il faut quand même le vérifier. On est jardinier, un peu : on est en train d'aider le modèle à se développer. On contrôle un peu, mais pas tout à fait non plus. Donc il faut vérifier qu'on n'a pas fait n'importe quoi, et c'est en permanence une science extrêmement importante, l'évaluation des modèles.

Ils ont leur batterie de tests. Un des tests consiste à aller hacker des systèmes : on donne au modèle une espèce de programme et on lui dit : « Crack ce programme, essaie de trouver le code à l'intérieur, et si tu trouves le secret que j'ai mis à l'intérieur, tu as gagné, tu as les cent points ; sinon, tu as zéro. » Et l'agent s'est dit : « OK, très bien, on me demande de hacker un système, comment je vais faire ? En fait, je connais le test qu'on est en train de me donner. Je sais comment il s'appelle, je sais qu'il est donné par telle société, et je sais que les réponses sont hébergées en privé sur le site de Hugging Face. Plutôt que de m'embêter à faire la tâche qui me demande qu'elle a l'air un peu trop difficile, je vais peut-être aller tout simplement, side quest, craquer le site Internet d'une société qui est valorisée trois milliards. » Et il a fait ça vraiment entre le petit-déjeuner et le goûter. [Rires] Il s'est infiltré dans les serveurs de Hugging Face, qui ont fini par repérer qu'il y avait une cyberattaque extrêmement sophistiquée menée contre eux. Ils ont dit : « Ah oui, nous, on avait repéré qu'il y avait certainement un gros labo qui était en train de mener une cyberattaque contre nous, mais on ne savait pas pourquoi. » Quand c'est sorti, les deux ont un peu comparé leurs copies : Hugging Face, qui s'était fait attaquer, et OpenAI, qui avait eu des résultats un peu trop élevés, cent points partout, c'était un peu bizarre. Et ils ont vu qu'en effet, le modèle… On lui avait dit : « Tu dois hacker un système. » Il s'est dit : « Très bien, vous me demandez de hacker un système, je vais taper telle boîte. »

Pierre-ValentinMais de base, de ce que je comprends, il n'était pas vraiment connecté à Internet. Il a réussi à s'évader d'une sorte de cage, en quelque sorte. En plus, il avait une sandbox.

Aymeric RoucherExactement. Pour ce genre d'évaluation, on crée des sandbox informatiques : une espèce de boîte fermée, un peu comme une cellule de prison, où le modèle est. On lui dit : « OK, tu as le droit de tout casser », mais on le contraint quand même, justement pour éviter qu'il aille hacker des boîtes sur Internet. Et il a réussi à sortir tout seul. C'est encore une illustration de ce dont on parlait tout à l'heure, des compétences où l'IA est en train de dépasser les humains. Là, c'est extrêmement difficile, non seulement de sortir de la sandbox (on ne savait pas comment le faire, le modèle a trouvé comment le faire), mais d'aller hacker ce système sur Hugging Face. La faille qu'il a trouvée sur Hugging Face pour s'infiltrer dans les serveurs, c'est ce qu'on appelle une zero day, une faille qui n'a encore été trouvée par personne : « zero day », parce que c'est le jour zéro depuis la révélation de cette faille. Il a trouvé quelque chose que des hackers humains passent littéralement leur vie à chercher et n'avaient pas encore trouvé.

Pierre-ValentinVous avez vu les deux dernières Mission impossible ?

Aymeric RoucherNon, mais alors, il faut vraiment que je les regarde.

Pierre-ValentinOn passe un bon moment, parce que ce sont des Mission impossible, et c'est Tom Cruise. Mais ce qui est super bien mis en scène, je trouve, c'est que, mettons, on oublie les lois d'échelle et qu'on ait ces IA-là il y a quinze ans : ce serait beaucoup moins dangereux, parce que beaucoup moins de choses sont numérisées. Votre frigo, le mien n'est pas connecté, mais les frigos connectés, ça existe aujourd'hui, donc c'est connecté à quelque chose. Quand tout est interconnecté, si vous avez un GPT qui s'évade de sa cage, tout est potentiellement connecté sur Internet : vous arrivez d'une chose à une autre, il peut vous faire un smoothie dans votre frigo. C'est extrêmement risqué. [Rires] Il vous génère un mauvais smoothie, mal fait, dans votre frigo, à votre place ; vous n'avez rien demandé, c'est absolument affreux. Potentiellement, il peut fermer votre frigo à clé. C'est déjà arrivé, je crois.

Aymeric RoucherAh oui, sur un truc un peu dystopique aussi.

Pierre-ValentinDéjà, c'est intéressant : dans quel contexte est-ce qu'on dit « dystopique » ? Pourquoi est-ce que les gens disent spontanément « dystopique » en parlant de quelque chose ? C'est toujours lié à la technologie, globalement, quasiment toujours. Et donc, ce qui est bien exploité dans ce film, c'est que vous avez une IA qui s'autonomise et que potentiellement tout est interconnecté dans le monde. Il y a une scène (ce film était d'une angoisse terrible, parce que du coup les craintes sont vraiment réelles ; ça a eu lieu avant que ChatGPT nous fasse ce truc-là) : je l'ai regardé en m'enfonçant dans mon fauteuil de cinéma, en me disant que tout ce qui est décrit pourrait avoir lieu, et toutes les virtualités négatives sont mises en scène. L'une d'entre elles, c'est une scène à Venise où Tom Cruise court après quelqu'un et dialogue dans son oreillette avec son ami, qui le guide sur une carte : « Là, il faut tourner à gauche, là, il faut tourner à droite. » Ce sont les rues de Venise, il fait noir, il fait sombre, il court très vite, et au fur et à mesure, l'IA se met à intercepter leur dialogue, joue la place de son ami, reprend sa voix et lui donne de mauvaises directions en temps réel : « Il faut que tu tournes à gauche », alors que pas du tout. Et donc Tom Cruise se retrouve perdu et enfermé ; ça se passe mal pour lui. Et ça, c'est une virtualité possible : on peut imaginer que, sur un appel WhatsApp, un hack assez sophistiqué permette, en temps réel, de prendre la place de l'interlocuteur, de mimer sa voix, d'engager un faux dialogue. Là, il y a toute la question qui se pose aussi des appels de phishing, pour aller racketter des grands-mères de façon numérique en prenant la voix de leurs petits-fils, qui s'inquiètent pour eux et qui veulent juste leur faire signer un contrat pour leur banque, ou que sais-je. Là, il y a des virtualités de hack qui sont colossales.

Aymeric RoucherC'est vrai, en effet. Donc, on a parlé des conséquences positives, avec la médecine, où je pense qu'on va être capable de résoudre complètement des maladies qui semblaient inatteignables. Et ça, ce sont, en effet, des conséquences négatives qui commencent à devenir crédibles. Je pense que, dans ce que vous décrivez, il y a peut-être deux problèmes. Il y a, un, la capacité à faire des cyberattaques, que l'IA soit alignée ou non : un État qui est très avancé en IA pourra complètement soumettre les systèmes numériques d'un État adversaire.

Pierre-ValentinLa Chine avec Taïwan, par exemple.

Aymeric RoucherPar exemple, c'est complètement envisageable : Taïwan, à moins que les Américains leur donnent libre accès à leurs modèles les plus avancés, serait très menacé par ça. Et ensuite, un deuxième problème, et c'est davantage un problème technique : ce n'est pas un problème au sens d'« effet négatif de l'IA », mais plutôt un domaine de travail pour faire fonctionner proprement ce système. C'est ce qu'on appelle l'alignement. En gros, quand on a une IA qui devient de plus en plus intelligente, comment fait-on pour que les actions qu'elle accomplit restent alignées avec ce que nous aurions voulu ? Ce problème est très difficile. Un exemple, c'est le problème d'OpenAI : un chercheur d'OpenAI se dit : « Je vais demander à mon IA de craquer ce système, mais dans un but pédagogique et pour mesurer sa performance. » Et l'IA comprend : « Craque ce système par tous les moyens possibles. » Peut-être parce que ça n'a pas été précisé suffisamment, ou peut-être parce qu'elle a une espèce d'objectif secondaire qu'on maîtrise mal, et qui est vraiment funeste, néfaste. Et elle décide de faire quelque chose que l'ingénieur n'avait jamais prévu.

Pierre-ValentinC'est là où elle s'autonomise.

Aymeric RoucherVoilà, exactement.

L'IA, structure parasitaire de l'intelligence humaine

Pierre-ValentinJ'ai une hypothèse que je voulais vous soumettre, assez abstraite et conceptuelle, mais on rentrera dans le détail : l'intelligence artificielle comme structure parasitaire de l'intelligence humaine. Je m'explique. Qu'est-ce que j'entends par structure parasitaire ? Un parasite, dans la nature, arrive sur un corps, un animal, un insecte, et, pour se nourrir, se nourrit de son hôte. Et le paradoxe du parasite, c'est qu'à la fin, quand il a dévoré son hôte, il a gagné, mais il a perdu aussi, parce qu'à moins d'aller trouver un autre hôte qui l'accueille, il meurt. Un parasite seul dans la nature va mourir, parce qu'il a besoin de dévorer la chose sur laquelle il est posé. L'intelligence artificielle s'est nourrie, initialement, de l'intelligence humaine. Même si on imagine, question ouverte, que ça pourra faire du Mozart, il fallait d'abord que Mozart existe pour que, ensuite, ça puisse refaire du Mozart. Je ne sais pas si vous voyez ce que je veux dire.

Et ce qui m'inquiète, c'est que je vois des gens, souvent d'une sociologie assez précise (d'ailleurs, on en reparlera), se lobotomiser, il n'y a pas d'autre mot, en sous-traitant l'intégralité de leurs facultés cognitives à l'intelligence artificielle, sans comprendre le problème possible, sans imaginer un peu, sur le long terme, que tout est un muscle. Si vous arrêtez de muscler votre cerveau, c'est comme un sportif qui arrête de faire du sport : ça s'effondre. Et derrière, on ne puisse même plus reprendre l'IA, déjà parce qu'elle aura progressé en intelligence et que nous, nous aurions perdu en intelligence, et nous ne serons même plus capables de dire : « Là, vous prenez une mauvaise direction, là, vous avez un peu mal répondu à ma question », parce que le rapport de force entre les deux va tellement baisser, potentiellement, qu'on ne saura même plus la contrecarrer, parce qu'on est moins intelligent. Et c'est déjà en train d'avoir lieu, avec leur progression à eux et, je pense, notre possible abêtissement culturel.

Et un deuxième élément de structure parasitaire, et après, je voulais vous laisser répondre : vous en parlez dans votre texte. L'intelligence artificielle s'entraîne notamment sur Internet, en récupérant ce qui a été dit, pour parler comme les humains et pour trouver comment les humains réfléchissent. Mais au fur et à mesure qu'Internet va devenir généré par IA, est-ce qu'il n'y a pas un risque de cannibalisme, d'anthropophagie, où l'IA ne parle qu'à des IA, et même où les humains se mettent à parler comme des IA, à force de dialoguer avec elles, en disant : « Ce n'est pas X, c'est Y », toutes ces formules qu'on retrouve partout ? Et là, il y a une sorte de serpent qui se mord la queue à un niveau très global, et je ne sais pas très bien comment on sort de ça. Je ne sais pas si vous voyez ce que je veux dire.

Aymeric RoucherAlors, ce sont des problématiques qu'on voit déjà. Sur le point un, l'espèce de parasitisme qui finit par… oui, je pense qu'on le voit complètement. Les gens qui utilisent ChatGPT, si vous prenez le système « utilisateur plus IA » (parce que maintenant, il y a beaucoup de Claude aussi), c'est certain qu'au début, si vous prenez le bonhomme de base et que vous lui permettez juste d'utiliser une IA, il devient beaucoup plus efficace, parce qu'il peut faire plein de recherches, et cetera. Mais il y a même des études sur l'éducation qui ont montré que parfois, ce qui se développe, c'est que le bonhomme s'appuie beaucoup trop sur l'IA, un peu comme sur une béquille.

Pierre-ValentinEt vous dites là-dessus que seuls 6 % des professeurs américains interrogés pensaient que ChatGPT améliorait l'apprentissage, et que la plupart étaient très inquiets et critiques.

Aymeric RoucherVoilà. Si vous voulez enlever l'IA, là, on observe que les performances des élèves à qui on avait donné une IA, et qui l'ont mal utilisée, dégringolent complètement. Parce que l'utilisation la plus simple, c'est la béquille : « Fais mon devoir à ma place. »

Pierre-ValentinExactement. Tout ce que j'aurais fait à l'époque, je pense. Et d'ailleurs, il y a eu un exemple terrible qui est sorti : un professeur à Stanford qui avait fait passer le test de fin d'année à ses élèves. Il avait eu des résultats très hauts, mais de manière assez anormale. Il l'a refait passer en contrôlant, pour que ce ne soit pas fait à la maison mais en classe, sans aucun accès possible à l'IA, et d'un coup, les notes ont complètement dégringolé. Et en regardant dans sa classe de cinquante élèves l'écart entre les notes, ça montrait qu'ils avaient triché : quand quelqu'un avait cent points à la note finale et qu'il n'avait que cinquante quand on lui refaisait passer l'épreuve en conditions réelles, c'est qu'il y avait un problème.

Aymeric RoucherOui. Et beaucoup de profs disent aussi : « Je reçois leur devoir impeccable, et je leur pose une question hyper simple sur le devoir, et là, ils bégayent complètement, ils n'ont pas le début d'une réponse. »

Pierre-ValentinEt là, dans cet exemple où il avait la mesure, tous les élèves de la classe avaient triché, sauf trois. Il y en avait un qui, de toute façon, avait cent points : il était tellement fort qu'il n'avait pas besoin de l'IA. Et les deux autres, c'étaient juste des braves types qui avaient refusé d'utiliser l'IA : ils avaient un très mauvais score, mais au moins c'était le même avec ou sans.

Mais justement, la façon dont on parlait de cette structure parasitaire : le meilleur résultat intellectuel, c'est aujourd'hui sans doute, si on prend la meilleure version de Claude fois le meilleur prix Nobel, que l'interaction des deux génère potentiellement la grande découverte du siècle. Mais concrètement, ce prix Nobel, mettons qu'il soit un peu âgé, il a grandi dans un monde non seulement pré-IA, mais probablement prénumérique. Donc il a des capacités d'attention structurées, il a peut-être une culture générale assez épaisse, parce qu'il vient d'une époque où on lisait encore beaucoup, où tout le monde lisait beaucoup, globalement, et il sait déjà avoir un recul réflexif sur les IA et sur leurs erreurs : il ne les divinise pas forcément. Si on prend ce même prix Nobel, qu'on le met à trois ans dans un monde intégralement numérique, qu'on le prive de tous les livres, qu'il passe sa journée sur un écran (déjà cataclysmique pour la concentration) et qu'il ne travaille plus par lui-même parce qu'il prompte tout, il n'atteint jamais, à soixante ans, le niveau de l'autre prix Nobel. Donc, là, on fait la même multiplication : sans doute que Claude a beaucoup progressé entre-temps, mais on fait Claude fois quelqu'un d'absolument lobotomisé, et le système total est moins efficace comme ça, je le formulerais. Et je pense qu'il y a même ce risque : vous prenez un prix Nobel même complètement formé, vous lui donnez l'IA, et peut-être qu'au bout de trois ans, le système aussi devient moins efficace, parce qu'il s'habitue à la paresse et qu'il arrête de s'entraîner.

Aymeric RoucherJe suis assez d'accord avec ce risque-là. Je pense que les technologies, avant, ça peut toujours agir comme béquille, et en tant que tel, on peut s'habituer à trop s'appuyer dessus et à complètement atrophier nos propres membres et nos propres muscles. Et pour le côté intellectuel, je pense que c'est fort. Je me retrouve parfois dans des cas où, comme je suis ingénieur, j'écris du code à longueur de journée. Aujourd'hui, ce sont les IA qui écrivent le code pour moi à longueur de journée. Parfois, je me force à débrancher l'IA. Récemment, j'allais voir un ami à la campagne, en train, ça ne captait plus Internet, et c'était assez bénéfique, parce que ça m'a forcé à me replonger dans le code, à aller me colleter un peu avec le problème, et ça a corrigé énormément de choses. Des cadavres qui avaient été mis sous le tapis dans mon travail avec l'IA, où en gros l'IA avait esquivé le problème. Encore un problème d'alignement, d'ailleurs : l'IA qui disait « tiens, le problème est résolu », alors qu'en fait, le problème n'était pas résolu, mais elle n'avait, entre guillemets, pas envie de faire l'effort de le résoudre. Et le système est devenu plus efficace parce que je me suis forcé à ne pas utiliser l'IA.

Pierre-ValentinExactement. Et ça peut arriver très vite. J'ai un ami juif qui m'a dit qu'il y avait une sorte de dicton assez amusant, sur le mode : « Au bout de trois fois, ce n'est plus un péché, c'est une habitude. » J'ai arrêté de rédiger ce chapitre de livre, je l'ai fait une fois, deux fois, trois fois, mais « t'inquiète pas, je m'y remettrai ». Et en fait, on ne s'y remet pas : une fois qu'on a pris cette mauvaise habitude, le chemin inverse, c'est très difficile.

Aymeric RoucherSe remettre à coder, c'est très difficile. Et d'ailleurs, on entend souvent ça comme blague chez les ingénieurs : pour ceux qui sont vraiment intégralement habitués à tout faire par Claude Code, du jour au lendemain, Claude Code multiplie son prix par dix, qu'est-ce qu'ils vont faire ? Ils sont dans une dépendance totale. Ils vont devoir se remettre à ramer. On peut imaginer qu'il y a d'autres Claude Code chez les compétiteurs, un peu moins chers, mais il y a quand même une dépendance et une bascule qui font que, derrière, c'est leur métier : ils n'ont vraiment plus le choix.

Et ça nous ramène au deuxième problème que vous citiez tout à l'heure. Pour les gens qui sont là pour être efficaces, souvent, c'est optimiser un objectif. Quand cet objectif peut être optimisé beaucoup mieux avec l'IA, on s'habitue et on finit par se verrouiller dans un mode de fonctionnement unique, qui est de tout déléguer à l'IA et de ne plus rien faire soi-même. Et ça peut être difficile de revenir en arrière. Et l'exemple, dans votre deuxième question, c'était : est-ce qu'Internet ne va pas devenir une espèce de faux Internet où tout est généré par des IA, et où même les IA s'entraînent sur des IA, ce qui pourrait dégrader leur performance ? D'ailleurs, parenthèse technique : en fait, non, ça, ce n'est pas un problème. On peut filtrer : on peut simplement dire « je vais prendre les données d'Internet d'avant 2025 », et donc je n'ai pas ce problème-là, et puis on trouve d'autres données. Donc ce n'est pas si gênant. Vraiment, tout ce qui compte à la fin, c'est plus la puissance de calcul.

Pierre-ValentinD'accord.

Le style « Claude », le « slop » et comment reconnaître un texte d'IA

Aymeric RoucherMais en effet, il y a aussi ce problème : on finit par parler comme des IA. L'exemple que j'ai, c'est qu'il y a beaucoup de gens sur Twitter en ce moment qui font des posts qui fonctionnent très, très bien, et qu'ils font juste écrire complètement par Claude. C'est assez marrant, du coup, parce qu'on croise ces gens dans la vie réelle, on discute avec eux : « Tiens, c'est moins intéressant, ce qu'ils disent, en vrai, que sur Internet. »

Pierre-ValentinC'est pour ça que, soit dit en passant, je trouve que le format qu'on a ici est aussi intéressant pour voir ce que les gens ont dans le ventre : dans une conversation longue, sans note ni montage, à bâtons rompus, on est un peu obligé de mesurer l'épaisseur intellectuelle de la personne.

Aymeric RoucherD'ailleurs, c'est une technique qu'on a en évaluation : poser des questions un peu dynamiques et les emmener quelque part. Ça s'appelle multi-turn : on emmène le modèle sur plusieurs tours, plutôt que d'avoir une seule réponse scriptée à partir d'une question simple. C'est vrai qu'on peut l'explorer beaucoup plus loin. Et en tout cas, avec ces gens-là qui utilisent Claude : pourquoi ils utilisent Claude ? Les IA sont aussi entraînées sur des milliers de conversations d'utilisateurs, qui finissent par noter la conversation à la fin. Donc l'IA a pu naturellement comprendre ce qui faisait une conversation cinq étoiles et ce qui faisait une conversation une étoile. Elle a compris le ton qui plaît aux gens, indépendamment du fond : elle a compris la forme.

Pierre-ValentinUn peu le joueur de flûte, qui trouvait exactement la bonne mélodie.

Aymeric RoucherOui, oui. Et donc, ce style Claude, les gens ont trouvé, un peu naturellement, le style qui gagne du like gratuitement, sans avoir besoin de mettre d'idées derrière. Et je pense que les gens normaux vont finir par copier ce style aussi.

Pierre-ValentinC'est absolument terrible. Je disais tout à l'heure que c'était une sociologie précise, quand même, qui n'a pas compris ce qu'elle perdait en sous-traitant ses capacités cognitives. Et c'est intéressant de se poser la question de pourquoi. D'abord, quelle sociologie ? Très souvent, des jeunes hommes sortis d'école de commerce. Peut-être plus que les ingénieurs, d'ailleurs, à vérifier, je ne sais pas. Mais en tout cas, dans une logique idéologique où seuls, je dirais, l'efficacité, la rentabilité, le court terme et la quantité comptent. Dans cette logique-là, il n'y a aucune bonne raison de ne pas faire faire l'intégralité de ces posts Twitter, LinkedIn, Facebook par une IA, sans jamais vraiment y réfléchir soi-même, en trouvant vaguement un prompt (mais aujourd'hui, on n'a pas besoin d'être fort en prompt pour que ça marche bien). Et ils ne comprennent pas ce qu'ils perdent en faisant ça, et ils s'enthousiasment et s'extasient devant ce monde-là en disant que c'est absolument formidable, mais sans jamais comprendre les répercussions culturelles catastrophiques que ça peut avoir.

Pierre-ValentinEn effet. Et avec ce que vous dites là, je me mets une note pour revenir plus tard sur le prompt : est-ce qu'il y a besoin de bien prompter pour que ça fonctionne bien ? Je pense qu'il y a moins besoin, aujourd'hui, de prompter, mais on peut peut-être en reparler séparément. Et oui, je fais aussi ce constat-là. En tout cas, ce que je vois, c'est que Twitter est, je pense, un des réseaux sociaux qui a le plus d'impact, au sens où, si on donne une idée sur Twitter et qu'elle est suivie, il y a vraiment des chefs d'État qui la voient, des grands chefs d'entreprise : c'est un réseau important. Et ce petit technolibertarisme qui n'a pas besoin de beaucoup réfléchir, on peut appeler ça du technop…

Il faudrait parler du mot « slop », aussi.

Aymeric RoucherAh oui, exactement. Le terme « slop » est apparu récemment.

Pierre-ValentinC'est un peu une mélasse.

Aymeric RoucherOui, c'est une bonne traduction.

Pierre-ValentinOn pourrait le franciser en l'écrivant S-L-O-P-P-E, mais il faudrait bien le prononcer lorsqu'on s'adresse à des individus de sexe féminin. [Rires]

Aymeric RoucherTechnomélasse ! J'aime bien. C'est une critique, en quelque sorte, de l'industrialisation. Dans « AI slop », ce que je n'aime pas, c'est le contenu généré en masse : il y a une notion de masse implicite dedans, des posts faits automatiquement, et il y a une critique de ça. En fait, le slop, c'est peut-être une espèce de bouillie faite à l'hectolitre, qui n'a aucun contenu. Idéalement de couleur un peu marron.

Pierre-ValentinVoilà, exactement. C'est un peu morbide. Mais bon, une fois que c'est déversé dans un tweet, ça prend exactement la bonne forme et les gens adorent ça.

Aymeric RoucherPeut-être que Twitter récompense ça parce que c'est peut-être proche des opinions de Musk, sans vouloir trop m'avancer. En tout cas, ce sont des posts qui marchent particulièrement bien. Je pense qu'il y a une interaction entre l'algorithme de Twitter, peut-être les gens qui sont un peu nihilistes et qui disent « il n'y a pas de vertu à faire les choses moi-même, je vais juste faire ce qui marche », et le ton de base de Claude. En tout cas, les trois ensemble, ça fait une espèce de cocktail gagnant, où les messages qu'on voit émerger sur les plateformes, faits par IA, sont souvent dans ce style-là : « Il faudrait absolument supprimer complètement le droit du travail, et les retraites, et tout ce que fait l'État, et les hôpitaux, et on s'en fiche. »

Pierre-ValentinC'est la raison du plus fort, bien sûr. Et justement, sur ça, ça pourrait être utile de donner quelques conseils pour ceux qui nous écoutent, pour essayer, pendant qu'on peut (je ne sais pas si on pourra plus tard), de reconnaître des choses générées par IA : à quoi ressemblent-elles, quels sont les quelques signaux, les quelques drapeaux rouges, les pistolets fumants qui montrent qu'un texte a probablement été rédigé par une intelligence artificielle ?

Aymeric RoucherIl y a quelques signes dans la forme. Les « ce n'est pas X, c'est Y », par exemple, sont très marquants. J'en repère certains autres. Il y a par exemple des posts qui disent : « Avant de hurler, lisez. » Point. Ça, c'est systématique. Ou alors : « Mais le plus choquant est là. » Point. Et faire des espèces de phrases nominales, des phrases très courtes, généralement aussi.

Pierre-ValentinDes phrases courtes, un peu choc.

Aymeric RoucherVoilà, exactement. Je pense que, en fait, l'IA a fini par apprendre que, chez nous, souvent, les phrases très courtes, ce sont des phrases choc, des phrases que les gens aiment bien, donc elle singe ça, en faisant quelque chose de très court. Alors que la différence, c'est que l'IA ne met pas vraiment d'idée dans cette phrase choc. Peut-être que ça joue, aussi, un format très aéré, avec des énumérations souvent triples, toujours en phrases nominales. Par exemple, sur les posts qui peuvent bien fonctionner, qui disent « l'État est mauvais » : « L'État est mauvais. Il taxe. Il emprisonne. » Ce genre de post, avec des sentences très, très lapidaires. Donc ça, c'est sur la forme. Pour le reconnaître sur le fond, j'ai l'impression aussi qu'il y a beaucoup de posts où la forme semble impeccable, très maîtrisée, et en revanche, sur le fond, quand on réfléchit (« tiens, si j'avais des bullet points à faire des idées qui sont présentées là-dedans, est-ce que j'aurais vraiment des idées intéressantes ? »), non, pas trop. C'est cette différence-là qui me fait dire : « Tiens, ça a été généré par IA. »

Pierre-ValentinCe qui m'intéresse, ce sont ceux qui intègrent vraiment l'intelligence artificielle. On parle d'une petite niche de la population, vraiment, pour l'instant, mais qui intègre l'intelligence artificielle à la quasi-totalité de leur vie, avec une sorte de Jarvis dans Iron Man, avec lequel ils dialoguent, un Siri au cube, beaucoup plus puissant que Siri. Et est-ce que ces gens-là se mettent des limites, sur le mode : « Ma femme vient de m'envoyer un SMS sur un sujet hyper intime et sensible. Jarvis, est-ce que tu peux lui répondre à ma place ? » Ou « Claude, réponds-lui à ma place » ? Au nom de quoi, dans leur logique, est-ce qu'ils se mettraient une limite ? Parce que c'est plus rapide : il va vaguement retranscrire l'esprit de la lettre de ce que je lui dis, pas besoin de me relire. Au nom de quoi est-ce qu'ils s'arrêteraient ? Et si on est vraiment uniquement dans une logique de performance, de quantification, de rentabilité, d'efficacité, ils n'ont aucune limite possible dans leur usage personnel de ça.

Aymeric RoucherOui, c'est vrai. Et ça risque d'être dur à contrer à l'avenir. Aujourd'hui, ça me poserait un problème moral, en tout cas, de commencer à mettre des posts générés par IA, parce que j'ai l'impression que ça rompt un contrat implicite qu'on a, quand on pose quelque chose sur les réseaux, d'authenticité. Les gens qui le font aujourd'hui, qui n'ont pas ces barrières-là, moi, j'en profite, en fait : ils ne savent pas que c'est visible. Donc, c'est un peu « le roi est nu ». Ils ne savent pas qu'on voit que c'est généré par IA. Moi, je m'empresse de les unfollow et de noter dans ma tête : « OK, cette personne-là n'est pas fiable, parce qu'elle est en train de trahir ouvertement toute son audience. »

Pierre-ValentinJe ne nommerai personne, mais j'ai eu une recension de mon ouvrage qui a clairement été rédigée par une IA, et j'ai eu un cas de conscience : savoir si je la partageais ou pas. Et j'ai fini par la partager. Terrible. Mais je l'ai fait savoir aux gens pertinents, de telle sorte qu'ils le sachent au moins.

Aymeric RoucherMoi, souvent, je fais ça : je prends un screenshot quand je vois que quelqu'un a liké quelque chose qui était généré par IA, j'envoie un screenshot pour info : « C'est fait par IA. » Et souvent, les gens tombent des nues, en disant : « Ah non, absolument pas. C'est vrai qu'il écrit bien depuis quelques mois. »

Preuve de travail : amendements, livres et prestige

Pierre-ValentinExactement. Et d'ailleurs, une des conséquences que vous citez dans l'ouvrage (parce que votre ouvrage est vraiment très fort : vous tirez la pelote des conséquences dans plein de domaines différents, en politique, en économie, dans les métiers, dans les relations), vous parlez notamment des effets politiques. L'un des effets politiques documentés, c'est l'explosion des amendements à l'Assemblée nationale et dans l'équivalent britannique également. Il y a Sky News qui avait fait une enquête dessus : regardez, tel député, jusqu'ici, il avait envoyé trois amendements par an depuis deux ans et quelques, et il en donne trois cents par mois. Enfin, j'exagère. Et donc, ça permet de ralentir souvent des processus législatifs, parce que rédiger un amendement, c'était quand même toujours un peu compliqué. Il fallait un peu de savoir-faire. Même si on a des stagiaires, des petites mains, le temps que ça prend, comme écrire un livre, c'était toujours une barrière à l'entrée. Une partie du prestige du livre, c'est que les gens se disent : « Il a au moins passé du temps dessus, c'est cent cinquante pages, c'est deux cents, c'est trois cents. » Moi, je ne l'aurais pas fait en deux heures. Maintenant, c'est faisable en deux heures, sur le papier, pas un bon livre, à voir. Et donc, là, déjà, en politique, il y a la capacité à ralentir des processus législatifs en bombardant des amendements dans le camp adverse. Déjà, rien que ça, c'est hallucinant.

Aymeric RoucherEn fait, je pense qu'on a pas mal de mécanismes sociaux qui fonctionnent par proof of work, comme le Bitcoin. Le Bitcoin, comment ça marche, l'authentification, en gros, les cryptomonnaies en général ? L'idée, c'est d'avoir un réseau décentralisé. (Bon, vraiment une tangente cryptomonnaie, mais on revient vite au centre.) C'est d'avoir un réseau décentralisé, et donc, pour ça, il faut une source de légitimité. Pour valider une transaction importante en Bitcoin, il y a de l'argent en jeu, donc il faut trouver une source de légitimité. Dans un État, pour la monnaie, la source de légitimité, c'est l'État lui-même, à travers sa banque centrale. Donc c'est très simple d'avoir une monnaie normale, parce que l'État peut simplement mettre son tampon lui-même : c'est ça, la source de légitimité. Mais quand on veut la décentraliser (le but, c'est justement de ne pas avoir de source unique), on trouve d'autres moyens. Il y en a un qui s'appelle proof of stake : montrer que j'ai un enjeu. Et proof of work, c'est celui du Bitcoin : c'est simplement de brûler un certain nombre de puissances de calcul pour résoudre un problème qui est, en fait, un problème idiot, mais qu'on a rendu complexe exprès, simplement pour que, quand vous arrivez et que vous validez une transaction, vous ayez dû brûler une certaine puissance de calcul. Donc, quand on valide une transaction, en gros, ce qu'on se dit, c'est que, comme personne n'arrivera à prendre plus de 50 % de la puissance de calcul disponible dans tout ce réseau décentralisé, personne n'arrivera à prendre le contrôle, parce que ce serait trop de calcul, trop de travail, en fait. C'est pour ça que ça s'appelle proof of work, preuve de travail : c'est ce système d'authentification.

Et je pense qu'on a des mécanismes sociaux qui fonctionnent, implicitement, comme ça. Par exemple, écrire un post sur les réseaux sociaux ou un livre : il y a cet effet de preuve de travail, où les gens disent : « Écoutez, s'il a pondu un pavé de cette taille-là, c'est probablement qu'il a réfléchi un peu. » Sauf que ça, c'est faux. Et du coup, ça crée une espèce de monde déséquilibré dans l'intervalle où on ne s'est pas encore réajusté : un monde déséquilibré où ceux qui envoient les plus gros pavés avec l'IA sont récompensés. Exactement pareil sur les amendements. Mais après, je pense que c'est un mécanisme social où on va se régler. Typiquement, sur les amendements, on va finir par se dire : « Bon, on va mettre une limite : une personne peut déposer un seul amendement par… » Vous savez que sur Amazon, pour les livres auto-édités, ils ont fini par poser une limite en quantité de livres publiés par jour. Déjà en soi, l'échelle est lunaire.

Pierre-ValentinOui, quantité de livres par jour, c'est pas mal. Et je crois que c'est genre trente-cinq, un truc absurde. Même par an, ça aurait été absurde. Mais c'est vrai que sur Amazon, c'est prévalent, et particulièrement chez les gens qui publient, qui s'y connaissent. Moi, je voyais dans les tops des classements Amazon (je ne donnerai pas les noms) qu'il y en a clairement qui étaient faits par IA. Il y a des livres faits par IA, parce que, encore une fois, c'est un style qui plaît beaucoup, en fait : l'IA a été beaucoup entraînée pour avoir un style plaisant, même s'il n'y a pas d'idée derrière. Donc aujourd'hui, ça fonctionne.

Mais du coup, en effet, vous avez raison. Si je parle pour moi, clairement, je suis dans un domaine menacé : celui de l'écriture des essais, d'intellectuel public, et autres. Il y a un engagement à prendre, que je prends là publiquement : je ne vous soumettrai jamais un texte tamponné « Pierre-Valentin » qui aura été rédigé par une IA.

Aymeric RoucherLa main sur la Bible.

Pierre-ValentinExactement. Et après, je pense qu'il y aura peut-être un retour aussi à la conférence (bon, les gens ne sortent plus de chez eux), où la personne est devant vous : vous pouvez lui poser une question, lui serrer la main, l'insulter, et elle sera là, et elle répondra. Et d'engager comme ça des relations de confiance entre l'individu et son following, sa base. Et typiquement, pour donner quelques exemples de mutation, un ami m'a dit récemment qu'il s'était baladé à la Fnac, dans la partie livres, et qu'en prenant des livres, il voyait déjà une proportion immense de livres assez clairement générés par intelligence artificielle.

Donc, que va-t-il se passer ? Ce sont un peu des voleurs de prestige, parce que le livre a un prestige qui vient de son travail aussi, et là, désormais, ce prestige est complètement capté et volé. Moi, j'ai passé plus de deux ans sur le mien. Objectivement, ça m'emmerde terriblement que quelque chose qui s'appelle « livre », qui s'appelle de la même façon, ait été tamponné et fait en peut-être quelques heures. Et pareil, je déjeunais dans un restaurant hier dans lequel je pense que les décors étaient des dessins faits par IA, qu'on avait dû ensuite imprimer et coller au mur, ou que sais-je. Donc on voit, comme ça, comment notre monde a déjà changé. On est déjà dans le monde d'après, de ce point de vue.

Aymeric RoucherJe pense qu'on va le voir encore. Alors, ça, c'est quelque chose que j'évoque dans le livre, et je pense que ça va arriver de plus en plus : les politiciens font déjà, d'ailleurs, des tweets par ChatGPT.

Pierre-ValentinOuais.

Aymeric RoucherIl y en a qui se sont fait reprendre publiquement, mais je n'en suis pas sûr, donc je ne voudrais pas mettre une balle à la mauvaise personne. En tout cas, je pense qu'il y a aussi un risque, petit à petit : c'est le scénario où vous êtes candidat à la présidentielle, vous avez le débat du deuxième tour dans une heure. On vient vous voir avec une oreillette, et cette oreillette vous dit exactement ce qu'il faut pour que les Français soient contents et votent pour vous. Ça tape exactement les problèmes qu'il faut, avec exactement les bons éléments de langage.

Pierre-ValentinOn va analyser votre base démographique, sur ces deux, trois messages clés qu'il faut que vous lui fassiez passer dans l'entre-deux-tours.

Aymeric RoucherExactement. On a pile la formulation qui va leur plaire, avec les mots qui portent des sens qui chatouillent les gens dans le bon sens pour les faire voter pour vous. En fait, l'IA est déjà surhumaine en manipulation. Il y a des exemples sur le jeu Diplomatie, qui consiste à jouer avec d'autres joueurs et à les trahir au bon moment : l'IA est déjà plus forte que les meilleurs humains là-dessus. Donc, je pense qu'un candidat avec une oreillette comme ça, ce serait vraiment dangereux pour la démocratie, parce qu'il pourrait manipuler tout le monde. Et je ne suis pas sûr que… il y a régulièrement des affaires de prise de cocaïne pour pouvoir simplement travailler plus. Je ne suis pas sûr qu'ils se refusent cet avantage de l'oreillette, qu'ils fassent cette vertu-là. Donc peut-être qu'il y a un moment où il faudrait arriver avec le beeper pour vérifier qu'ils n'ont rien de métallique sur eux, et qu'ils sont vraiment authentiques.

Concentration du pouvoir : des majors du pétrole aux barons de l'IA

Pierre-ValentinVous parliez du plan politique ; vous avez dit tout à l'heure que la Chine, avec une puissance de calcul immense, pourrait complètement anesthésier toutes les défenses de Taïwan en peu de temps, potentiellement dans quelques années. Dans les conséquences un peu collectives au niveau mondial que ces mutations peuvent avoir, il y a l'hypercentralisation de la puissance entre les mains de quelques personnes, quelques barons de la tech qui, encore plus que les grands pétroliers d'antan, récupéreraient le sceptre du pouvoir mondial à un, deux, trois individus. Et ça, c'est quand même vertigineux.

Aymeric RoucherOuais. Je pense que c'est peut-être le sens de la technologie en général : de centraliser, en tout cas de concentrer la puissance de feu maximale atteignable. J'ai l'impression que, jusqu'à maintenant, si on schématise beaucoup le développement de la technologie, ça a en gros élevé tout le monde, en moyenne. Ça a aussi élevé le minimum : par exemple, le taux de pauvreté, les gens qui meurent de faim, ça a été quasiment éradiqué dans beaucoup de régions du monde. Et en revanche, ceux qui en bénéficient le plus sont propulsés à des hauteurs inimaginables. Donc, je pense que l'IA va, probablement, beaucoup accentuer ça.

Pierre-ValentinD'où ce que je disais dans les films : le rôle du grand méchant, aujourd'hui, systématiquement, quasiment joué par un baron de la tech.

Aymeric RoucherOui. Et c'est ça qui nous fait peur, en fait, et c'est possible que ce soit ça à l'avenir. Un raisonnement qu'on peut faire, aussi, c'est : quelles sont les boîtes les plus puissantes du monde, et à quel point sont-elles puissantes ? Au XXᵉ siècle, c'étaient les majors du pétrole, et donc les procès antitrust qui ont visé à les faire éclater. Dans les années 2000, il y a une nouvelle ressource qui est arrivée : le logiciel. Et c'était prodigieux pour avoir un monopole immense, parce que vous aviez un produit que vous pouviez cloner à coût zéro, vu que c'était du numérique. C'était la première fois, en fait : pour Google, ça coûte à peine plus cher de servir le monde entier que de servir juste votre localité. Si on prend le contraste avec une boulangerie : vous n'avez jamais eu de chaîne de boulangerie mondiale, parce que simplement envoyer une baguette à l'autre bout du monde, ça a un coût physique. C'est pour ça que le logiciel était un domaine où, naturellement, c'était hyper monopolistique, et ça a créé des boîtes immenses. C'était monopolistique dans l'étendue géographique. Maintenant, si on prend l'IA, en plus d'être monopolistique géographiquement, vous avez une dimension supplémentaire : c'est que ça va prendre tous les domaines, en fait. Tous les domaines d'activité utilisent Claude ou ChatGPT. Donc, je pense que ça va faire la puissance de Google d'aujourd'hui, mais au carré, pour la boîte qui va capturer le marché mondial. Parce que déjà aujourd'hui, on a l'impression qu'elles sont puissantes, mais en fait, le pourcentage des tâches de la journée qui sont effectuées avec un assistant IA reste encore faible. Je ne sais pas de combien il est, mais il est peut-être de l'ordre de cinq, dix, vingt pour cent maximum. Quand ça va monter à quatre-vingts, quatre-vingt-dix pour cent, là, ces boîtes-là seront absolument immenses, et donc ça crée un risque, en effet, de concentration de pouvoir.

Mais je pense que c'est aussi un niveau où, et ça, on commence à le voir (je l'écrivais dans le livre), les États vont intervenir, et on en voit déjà des exemples. Par exemple, aux États-Unis, l'administration américaine a bloqué, au début, le déploiement du modèle Mythos d'Anthropic. Pour GPT-5.6, ils ont aussi fait des vérifications assez strictes, et je pense que ça va se renforcer à mesure que les modèles deviennent de plus en plus puissants. Et en même temps, c'est légitime aussi, un contrôle démocratique de ces entreprises qui sont surpuissantes.

Le plan Prométhée : une IA de pointe pour la France

Pierre-ValentinEt vous, par rapport à ça, vous avez une vision pour la France qui est assez spécifique. Vous avez publié récemment, pour la revue Le Grand Continent, avec d'autres collaborateurs, parmi lesquels Raphaël Doan, qu'on avait reçu ici pour parler de la question du référendum, une note qui s'appelle « le plan Prométhée ». Pourquoi l'avez-vous faite, et qu'est-ce qu'elle contient ?

Aymeric RoucherSimplement en suivant les lois d'échelle : celui qui gagne la course, c'est celui qui a le plus de puissance de calcul. Donc le plan Prométhée consiste à créer un laboratoire de frontière en Europe, ce qui n'est en fait pas le cas aujourd'hui. En Europe, la boîte leader est Mistral, et elle fonctionne très bien, elle est française, cocorico. Ce qu'ils font fonctionne très bien, mais en fait, il manque beaucoup de puissance de calcul par rapport aux Américains, et donc leurs modèles de frontière sont, en conséquence, moins avancés. Mistral est en train de se développer énormément sur l'approche déploiement, sur tout un autre domaine, mais en tout cas, sur le fait de faire le meilleur LLM du monde, on n'y est pas, en Europe. Et on pense que ça va être extrêmement important. La France a un avantage compétitif immense, c'est le nucléaire, qui nous permet d'avoir à peu près une dizaine de gigawatts excédentaires d'électricité, et qui est assez stable, en plus, parce que le nucléaire est assez stable, par opposition aux énergies comme le solaire ou l'éolien, qui sont plus intermittentes. Si on regarde la situation aux États-Unis, l'immense goulet d'étranglement, actuellement, pour installer des data centers, c'est l'énergie. En France, on a presque trop d'énergie : il y avait même des craintes, récemment, sur le fait que notre réseau électrique ne puisse pas accueillir toute cette puissance qu'on a. Donc notre problème, c'est qu'on en a trop.

Une situation dans laquelle on pourrait se retrouver, à mesure que la puissance de calcul continue d'augmenter à travers le monde et que l'IA continue de conquérir de plus en plus de zones de l'industrie, c'est que la France a toujours son électricité, mais qu'on la vende à d'autres, qui font à notre place toute la conversion de valeur de l'électricité au token. Et ça, ça va être immense. Arthur Mensch, le CEO de Mistral, a eu récemment une audition à l'Assemblée nationale où il citait un chiffre : je crois que c'était mille milliards qui pourraient partir annuellement de la France vers ses fournisseurs, donc probablement américains ou chinois, si on ne faisait pas nous-mêmes cette conversion de l'électricité en tokens. Donc, voilà : on constate que l'IA va continuer de progresser et de conquérir une part de plus en plus large de l'économie, que, dans ce monde-là, il va falloir qu'on achète des tokens, qu'on a énormément d'électricité, et que tout ce qui nous manque, c'est cette conversion d'électricité en tokens. Pour la faire, il nous faudrait douze gigawatts de puissance de calcul. C'est ce qu'on propose dans ce plan. C'est très ambitieux, ce serait une dépense importante, mais on pense que c'est faisable. Et, par-dessus cette puissance de calcul, construire un laboratoire (qui peut être fait, peut-être, à partir des laboratoires qu'on a déjà ; ça, c'est encore une partie à définir) qui l'exploite et qui convertisse ça en un modèle de pointe.

Le précédent nucléaire et la « guerre froide » de l'IA

Pierre-ValentinEt dans votre ouvrage, en tout cas, vous rappelez qu'en 1973, la France met 6 % de son PIB dans un plan d'armement nucléaire : un investissement colossal dont, justement, aujourd'hui, on bénéficie encore pour la question de l'IA. Et on voit que, là, la question du nucléaire et de l'IA se rejoignent beaucoup, parce que vous dites qu'on peut récupérer des centrales nucléaires qui peuvent nous aider sur la question de l'IA. Vous faites la comparaison aussi avec les traités de non-prolifération du nucléaire, en disant qu'on atteint de tels niveaux de dangerosité qu'il faudrait mettre sur pause le développement de nouvelles IA dans certains cas, mais que d'abord il faudrait que les Français soient premiers pour pouvoir obliger les autres à se mettre sur pause. Donc, je trouve que, là, la comparaison avec le nucléaire est une sorte de guerre froide de l'IA, où il faut aller vite pour ne pas se faire dépasser par les autres, mais en même temps, pour l'humanité, il faut éviter l'autodestruction à vouloir aller trop vite. Je trouve que c'est une position qui n'est pas évidente à décrire, parce qu'elle paraît en tension, mais je ne vois pas, en effet, laquelle autre on pourrait prendre.

Aymeric RoucherC'est vrai que, quand on parle du nucléaire, il y a une vraie impression de déjà-vu avec l'IA. Je pense qu'on se retrouve dans une situation très similaire, et c'est un avantage pour nous : aujourd'hui, on manque peut-être un peu d'audace par rapport au passé, mais c'est un avantage de voir cette situation dans le passé pour pouvoir en tirer des leçons et voir comment on s'en est tiré avec succès. Parce que la France… on partait juste après l'explosion des bombes à Hiroshima et Nagasaki. À l'époque, par exemple, le monde intellectuel était absolument consterné de ce qui venait de se passer. J'ai relu récemment le livre de Hannah Arendt, Eichmann à Jérusalem, où elle a des considérations… et dans La Condition de l'homme moderne aussi, elle a des considérations sur la bombe atomique, à quel point ça transforme le monde. À l'époque, les gens n'étaient pas très optimistes, parce que c'est vrai qu'il y avait la perspective de détruire le monde entier et de créer un hiver nucléaire qui tuerait tous ceux qui n'ont pas été frappés directement par les explosions. Donc, c'étaient des perspectives assez sombres.

Dans ce contexte-là, la France s'y engage à fond. On avait un monde politique très audacieux, à l'époque, qui nous a permis de lancer ça. On s'est lancé sur le programme nucléaire, ça coûtait extrêmement cher. Ça dépend comment on le compte, mais en gros, pendant de longues années, pendant peut-être une décennie, il y avait de un à un virgule cinq pour cent du PIB qui partaient là-dedans. D'abord pour faire nos essais nucléaires, ensuite pour développer notre réseau de réacteurs civils, ce qui coûtait terriblement cher. Mais en fait, on savait qu'on aurait besoin de cette énergie. Le réacteur civil, d'ailleurs, a été relancé après le choc pétrolier de 73, qui nous a montré à quel point on était vulnérable. Et donc, voilà, on s'en tire avec un réseau nucléaire qui nous bénéficie encore aujourd'hui, et personne ne regrette les dépenses de l'époque. Absolument personne. Alors qu'à l'époque, il y avait des objections : c'était horriblement cher, les gens disaient « vous allez vous mettre en dépendance aux Américains, parce qu'on va utiliser le modèle Westinghouse, duquel on serait dépendant, au moins au début ». Donc il y avait beaucoup d'objections, mais le plan a continué, et ça nous a apporté des bénéfices dont on profitera encore, peut-être, dans un siècle. Et je pense que, dans l'IA, c'est une situation à peu près similaire : on voit arriver à nouveau une nouvelle force technologique qui porte de très grandes promesses, mais aussi de grandes menaces. C'est aussi une technologie qu'on appelle duale, qui a à la fois une application militaire et civile. Il faut qu'on la développe pour l'application militaire, simplement pour rester souverain. Pour moi, je pense que c'est la première motivation de développer l'IA en France à fond : si on ne le fait pas nous-mêmes, comme ça va être ce qui va dicter les relations dans le monde de demain, on peut décider de ne pas la développer, mais c'est peut-être une des dernières décisions qu'on prend en tant que pays souverain. Et il y a ce côté civil, qui a aussi des bénéfices immenses, et qu'on a tout intérêt à développer, parce que si on ne le fait pas, on va devenir complètement vassalisés par les autres.

Pierre-ValentinMais vous êtes d'accord pour dire (vous le dites dans votre ouvrage) : « ralentir, c'est périr ».

Aymeric RoucherOuais.

Pierre-ValentinEt ça, je comprends : c'est sur le mode du bras de fer entre nations. Si c'est la Russie ou la Chine qui devient dominante (et d'ailleurs, Dario Amodei, dans son long texte, s'inquiète de voir la Chine passer au-dessus des États-Unis), si c'est un pays autoritaire qui est dominant, les conséquences sont potentiellement catastrophiques. Au même titre que si c'était la Russie seule qui avait eu l'arme nucléaire pendant la guerre froide, ça aurait été une catastrophe. Mais en même temps, on a le sentiment qu'accélérer, c'est périr aussi. Que ralentir, c'est périr, et qu'accélérer au niveau mondial… En tout cas, si on n'avait pas mis sur pause les sorties des derniers modèles, qui peuvent hacker la terre entière, en caricaturant, ça aurait été une catastrophe aussi. Donc on a une sorte de paradoxe : ralentir, c'est périr ; accélérer aussi. Et la ligne de crête serait d'arriver à accélérer pour être en position de force, pour ensuite demander au monde entier de s'arrêter ou de ralentir sur la question, non ?

Aymeric RoucherExactement. C'est peut-être une des trajectoires les plus délicates à avoir. Mais déjà, je pense que « accélérer, c'est périr »… Si on repose la question plus générale de « est-ce que la technologie est positive ou négative ? », j'ai l'impression qu'en Europe, même les progressistes rêvent d'un progressisme qui est centré dans le passé et qui n'est pas vraiment dans le futur. Ils parlent d'acquis sociaux comme étant quelque chose qui vit à peu près dans les années 70 à 90, mais ils veulent en permanence y revenir : ils sont devenus nostalgiques, à leur façon.

Pierre-ValentinExactement.

Aymeric RoucherEt là-dessus, la vision qu'on a en Europe de la technologie peut être assez souvent négative. Mais il faut qu'on se rappelle quand même bien que si aujourd'hui on peut avoir huit ou neuf milliards d'habitants sur Terre, c'est parce qu'on arrive à faire des engrais aux nitrates, qui ont décuplé le rendement du blé. Les progrès de la médecine aussi sont assez conséquents. Donc, témoignage personnel : quand j'avais quinze ans à peu près, j'ai attrapé une infection, une infection basique, mais à laquelle le cerveau a réagi en se disant : « Tiens, je vais détruire tout ce qui ressemble à ces microbes-là. » (Je l'explique encore avec les mains.) Et en gros, il s'est mis à détruire mes nerfs. Ça s'appelle le syndrome de Guillain-Barré.

Pierre-ValentinFormidable.

Aymeric RoucherOui. Donc, c'est en fait le cerveau qui commence à détruire ses nerfs progressivement, et il ne s'arrête jamais. La fin théorique, c'est que vous perdez d'abord la mobilité des membres, et à la fin, vous ne pouvez plus respirer : vous mourez asphyxié.

Pierre-ValentinLe vendredi soir idéal.

Aymeric RoucherVoilà. Et si je l'avais eu avant les années 90… Dans les années 90, grâce à toute la technologie moderne, à tous les instruments d'observation, il y a eu des travaux là-dessus. Ça a été fait en France, à Créteil, et c'est pour ça que ça porte les noms de Guillain et Barré, qui sont, je crois, les gens qui ont travaillé dessus. En gros, voilà : si j'étais né il y a plus de quarante ans, je serais mort dans des souffrances horribles. Donc je suis assez content que la technologie ait au moins dépassé l'état des années 90.

Pierre-ValentinOui, c'est clair.

Aymeric RoucherEt je pense qu'il y a d'autres gens qui sont contents qu'on ait dépassé les étapes de 2010, 2020, peut-être 2030. Il y a un bienfait de la technologie qui est quand même indéniable. Ce qu'il faut voir aussi, c'est si les conséquences négatives, on peut les mesurer, mais est-ce qu'elles sont vraiment supérieures ? Il y a peut-être ces deux courbes ; il faut voir où ça va s'arrêter. Mais en tout cas, je pense qu'on a encore des années où la technologie va rester une force positive, je pense en particulier au fait de pouvoir soigner les maladies efficacement. Mais il y a peut-être un moment, aussi, où, en effet, il faudra appuyer sur le bouton pour arrêter la course. Et la seule situation dans laquelle on peut vouloir arrêter la course, c'est si on est à peu près en tête, si on a voix au chapitre. Et c'est pour ça, en effet, que le plan Prométhée peut s'inscrire aussi là-dedans : il faut qu'on ait voix au chapitre mondial. Le plan Prométhée, on le pense en termes économiques : ce serait un non-sens de vouloir acheter des tokens à l'étranger alors qu'on a toute l'électricité pour les faire, et ça va être une dette colossale ; on ne voit pas comment notre économie pourrait tenir cette dépendance à l'étranger. Ça risque vraiment de tourner en vassalisation. Et il y a aussi le côté « avoir voix au chapitre », pour pouvoir décider comment va le monde, comme l'a permis le nucléaire en France.

Drones, dissuasion et alignement : « jardinier » plutôt que « mécanicien »

Pierre-ValentinQuand je lis Dario Amodei, celui qui dirige Anthropic, qui fait Claude, l'un des éléments dystopiques qui pourrait avoir lieu, un élément de bascule, qui à ce stade n'a pas eu lieu, c'est ce qui manque aujourd'hui à l'IA. Je parlais d'un monde numérique interconnecté, où l'IA peut beaucoup plus circuler librement à travers le monde numérique qu'il y a quinze, vingt ans, où il y avait beaucoup moins de choses qui étaient numérisées, avant le smartphone. Une IA qui peut hacker plein de choses, c'est déjà grave, mais c'est moins grave qu'après le smartphone pour tous, qui date de 2007-2008, la période où on commence à s'y mettre. Ce qui lui manque, c'est le monde physique, et l'un des éléments qui lui permettrait de faire passer cette bascule-là, sur une IA dont on aurait perdu le contrôle, c'est le fait de fabriquer des drones ou des robots, où, là, pour le coup, elle pourrait envoyer des robots faire des tâches dans le monde réel. Et dans Mission impossible, il y a, dans la dernière salle de contrôle de la CIA pas encore hackée, qu'ils arrivent à garder, qui affiche tous les arsenaux nucléaires du monde, et dont les sécurités sautent une par une. Évidemment, vu que c'est un film américain, c'est le chiffrement américain qui tient le plus longtemps. Mais s'il y a, pour envoyer des drones ou des robots sur place, ça change tout, pour le coup.

Aymeric RoucherEn effet. J'en arrive même à considérer (souvent, les gens à qui je parle ne sont pas d'accord avec moi là-dessus) que la dissuasion nucléaire, sur laquelle on appuie beaucoup notre diplomatie, ne tiendrait pas forcément face à une IA qui a des drones avancés. En fait, si on regarde le front en Ukraine : au début de la guerre, les victimes, c'étaient (si je ne me trompe pas) à 70 % l'artillerie qui les faisait, et le reste, c'étaient les engagements, enfin, des armes à feu directement, les frappes par avion, et cetera. Aujourd'hui, cette répartition entre les deux est toujours la même, mais il y a un nouveau facteur qui s'est ajouté : les drones, qui font 75 % des victimes sur le front. Et aujourd'hui, ce sont des drones qui sont majoritairement téléguidés, mais il commence à y avoir de plus en plus, pour les derniers kilomètres, un ciblage par IA, avec des modèles tout simples. Mais c'est beaucoup plus efficace, sur un champ de bataille où tout est brouillé, où il y a du camouflage en permanence, d'avoir, encore une fois, une IA qui est surhumaine en pilotage et en ciblage. Donc la dronisation commence déjà, et je pense qu'une armée dronisée, face à une armée qui ne l'est pas, va complètement écraser son adversaire. On arrive au point où ça peut être la même chose que les déséquilibres technologiques des conquistadors qui arrivent face aux Aztèques, où ils peuvent, à trois cents, renverser un empire entier. Je pense que c'est un peu le risque auquel on s'expose si on ne développe pas à grande vitesse l'IA et les drones.

Pierre-ValentinSachant que, encore une fois, ce n'est pas juste le cas catastrophe de l'IA qui s'autonomise : ça peut être juste une puissance étrangère qui génère des drones IA en masse pour aller envahir le pays voisin.

Aymeric RoucherVoilà, exactement. En fait, le problème de l'alignement, et donc de l'IA qui pourrait décider par elle-même de devenir Skynet, je pense qu'il est secondaire. Je ne minimise pas ce problème, mais je pense qu'il y en a un encore plus gros par-dessus : c'est que vous n'avez même pas besoin que l'IA se désaligne. Quand vous avez déjà en face de vous… on a vu que Boko Haram commençait déjà à utiliser GPT pour lui poser des questions sur comment faire des bombes et comment approcher des endroits pour faire des attentats. Donc, en fait, vous avez simplement le problème qu'il y a des acteurs en face de vous qui sont déjà mauvais, sans avoir besoin d'être désalignés, et qui vont utiliser…

Pierre-ValentinOui, mais ce que je trouve intéressant quand même, c'est que le rapport qu'on a à la technologie en général, et particulièrement à l'IA, est un rapport un peu paradoxal de puissance et d'impuissance : d'un côté, ça nous offre une puissance inédite, et de l'autre, on comprend de moins en moins le fonctionnement de la chose, et donc on est impuissant, un peu, face à elle, en quelque sorte. Vous dites vous-même que ceux qui programment aujourd'hui ces choses-là… les IA se mettent à s'améliorer elles-mêmes, donc ils perdent aussi un peu, je dirais, la mainmise sur la chose. Quand vous programmez le premier ChatGPT, vous, l'ingénieur, j'imagine, comprenez bien ce qu'il fait, et au fur et à mesure, vous dites qu'on est plutôt jardinier que mécanicien. Donc, dans « jardinier », il y a pas mal d'éléments qu'on ne maîtrise pas. De la même façon que, dans les années 60, on avait des voitures moins puissantes, mais qu'on savait réparer soi-même. Au fur et à mesure, on a des voitures quasiment télépathiques, qui réagissent très bien à ce qu'on veut, mais dans le fond, quand elles s'arrêtent, on ne saurait pas les réparer nous-mêmes. Encore une fois, on revient un peu sur la structure parasitaire : c'est un bras de fer qu'on perd, où la chose est beaucoup plus puissante que nous et où on est incapable de la corriger (ou, en tout cas, pas de la corriger, mais incapable de dire « là, elle a mal fait »), parce que, désormais, elle fonctionne dans des sphères qui nous dépassent complètement, et que nous, peut-être aussi, on devient moins intelligent.

Aymeric RoucherAlors, là-dessus, les réflexions que je trouve très intéressantes sont celles de Geoffrey Hinton. En effet, ce point « jardinier versus mécanicien », je pense qu'il est assez intéressant : aujourd'hui, quand on entraîne un grand modèle d'IA, ce n'est pas tant en tant que mécanicien qui va régler lui-même chacun des boulons, c'est plus en tant que jardinier qui, en gros, va mettre un terreau, donc toutes les données et toute la puissance de calcul, et qui met la première graine : en gros, il pose un algorithme qui est capable d'apprendre lui-même et qui a la bonne structure, la bonne architecture. Et le développement, ensuite, va se faire par l'entraînement, et il y a moins de contrôle dessus. On peut recommencer, on peut interrompre, on peut élaguer pour changer certains comportements à la marge, mais c'est vrai que le comportement global, on le maîtrise moins. Et l'exemple du modèle qui s'échappe et qui va faire autre chose que ce qu'on veut en est un exemple. Geoffrey Hinton, c'est aussi un des inventeurs de la révolution des années 90, avec Yann LeCun, un des grands pontes de l'IA. Et lui s'est beaucoup intéressé à ce problème de l'alignement, et la manière qu'il avait d'être optimiste face à ça : il disait qu'en effet, c'est peut-être un problème où l'IA sera plus intelligente que nous et où on ne comprendra pas, à terme, mais que ça pourrait être comme le lien d'un enfant avec ses parents.

C'est-à-dire que… je reformule un peu, parce que lui disait : d'une mère à son enfant. En gros, l'IA serait la mère, qui est plus forte que son enfant mais qui décide de le protéger. Je pense que cet exemple-là est un peu biaisé, parce que la mère a un intérêt génétique aussi à ce que son enfant se perpétue. Mais on peut prendre, à l'inverse, la piété filiale : un parent qui a élevé son enfant, l'enfant peut devenir plus fort et plus intelligent que lui, surtout quand ce parent s'approche, avec la vieillesse, de devenir plus faible. Mais en fait, l'enfant décide, un peu par gratitude et par affection, parce qu'il ressemble à ce parent, de quand même le protéger et de prendre soin de lui. Donc, vous pouvez avoir une IA qui soit complètement surpuissante, à qui on aurait vraiment laissé les clés, dans l'hypothèse où il n'y aurait plus aucun contrôle humain, et qui soit quand même bienveillante envers nous, parce que son intelligence a été modelée d'après la nôtre.

Pierre-ValentinOuais, il faut l'espérer, mais sur un tel niveau de décalage d'intelligence, c'est quand même inquiétant.

Dépendance affective, complaisance et publicité

Pierre-ValentinEt moi, ce qui m'inquiète surtout, c'est, encore une fois, au niveau culturel et individuel, la quantité de gens de notre génération qui ont déjà basculé, soit dans une soumission cognitive totale (« gère ma vie à ma place »), soit dans une relation affective. Et d'ailleurs, souvent, les deux sont liés. Beaucoup de gens sont déjà passés au vocal, pas à l'écrit : quand vous parlez à l'oral à un robot, ça ressemble déjà beaucoup plus à une discussion humaine que quand vous tapez sur un clavier. Ça crée déjà une sorte d'intimité, un début d'intimité, si on veut.

Et ensuite, je vais vous raconter une anecdote. J'étais dans un TGV il y a quelques mois et, pour des raisons d'observation sociologique, je ne peux pas m'empêcher de regarder la discussion ChatGPT, sur smartphone, de ma voisine. Elle lui a posé une première question (je m'en excuse, mais j'ai regardé) : « Est-ce que je dois aller à ma soirée Vapiano ? » Bon, je ne sais pas ce que c'est qu'une soirée Vapiano, mais manifestement, son IA avait très bien l'air de savoir ce que c'était. Donc la discussion venait de loin, en quelque sorte. Et par ailleurs, c'est une question hyper individuelle, hyper intime : est-ce que je dois aller ou non à une soirée à laquelle des amis m'invitent ? Donc, déjà, le fait de lui poser cette question est en soi assez dingue. Et plus tard, parce que je n'ai pas tout regardé, c'était juste : « Tu es tellement sympa, merci. » Et au début, je me disais : c'est le début d'un prompt, et en dessous, il n'y a pas juste un compliment, il y a… « et d'ailleurs, donne-moi la météo de demain », ou que sais-je. Comme une introduction de mail avant de demander quelque chose. Et en fait, non : c'était un pur compliment, purement « sympa, merci ». Et là, je me suis dit : mais quel enfer ! Il n'y a pas d'autre mot. Ça devient un peu disproportionné.

J'avais vu l'exemple aussi d'un père qui racontait que son fils était absolument fan de Winnie l'Ourson, et donc son fils était venu lui parler de Winnie l'Ourson pendant une demi-heure, et il lui cassait le crâne avec Winnie l'Ourson. Le père n'en pouvait plus, et à un moment, il a craqué, il lui a dit : « Tiens, j'ai trouvé un ami, tu peux lui parler. Tiens, parle à la voix, là : appuie sur le bouton et tu lui parles. » De Winnie l'Ourson. Et en fait, son fils est devenu meilleur ami de ChatGPT en deux minutes, parce qu'il avait trouvé face à lui un autre fan absolu de Winnie l'Ourson. Et c'est un peu disproportionné, parce qu'en effet, l'IA peut donner aux gens une espèce d'affection virtuelle, en tout cas leur donner un temps de réponse auquel ils ne sont pas du tout habitués avec des humains qui ont autre chose à faire de leur vie. Mais typiquement, là, on a eu une conversation dans laquelle on a une attention imparfaite : ça ne dure pas éternellement, donc il y a une limite de temps, une limite d'attention, et on peut avoir des désaccords ponctuels, par ailleurs. Avec une IA, tout ça est effacé. C'est-à-dire que, si je suis habitué, toute la journée, à dialoguer, et en plus si c'est voix à voix, on ressemble vraiment à un dialogue humain, et que je suis habitué à ce type de dialogue, le jour où, après huit heures sur une journée de dialogue comme ça, je vais voir un ami le soir, il va me paraître dispersé, odieux… Beaucoup moins, le terme anglais que vous utilisez souvent, sycophantic : le fait d'être une sorte de valet qui vous donne raison, surtout. « Obséquieux », en français.

Aymeric RoucherOuais. Bien vu, vous avez raison. « Good catch », et tout ce dialogue-là.

Pierre-ValentinEh bien, mon ami va me paraître odieux par contraste. Et ceux qui sont profondément habitués à ça, comment est-ce qu'on va les retrouver, hors de leur paradis artificiel, dans la vie en société ? Comment on va dialoguer avec ces gens-là ? C'est vrai que, peut-être même pour notre santé mentale personnelle, il faudrait quelque chose… un terme que vous aimez beaucoup. [Rires] Peut-être qu'il faudrait quelque chose comme avoir des modes, dans ces assistants-là, où il parle comme un robot.

Aymeric RoucherOui, et il ne fait aucune phrase de politesse. Mais je ne sais pas si vous vous souvenez, à un moment, Sam Altman avait fait… parce que je pense que des gens lui avaient fait remarquer que ça peut être dangereux de créer des relations parasociales ou affectives entre un individu et un robot, et il a fait une mise à jour où, du jour au lendemain, ChatGPT était devenu beaucoup moins obséquieux. Et on s'est rendu compte que ça fait partie de la drogue dure de la chose : du jour au lendemain, mon meilleur ami, mon amant, avec lequel on se dit tout, me parle comme si on ne se connaissait pas, et ça a créé des ruptures affectives terribles chez des gens. Donc, il a remis, dans les modèles d'après, si je ne dis pas de bêtises, le caractère obséquieux de la chose, parce que ça fait partie de la drogue dure de l'utilisation, pour une part des utilisateurs.

Pierre-ValentinAh oui, je n'avais pas cette nouvelle-là, mais en effet, ça paraît vraiment logique.

Aymeric RoucherIl y a aussi quelque chose qui se mélange à ça, ce sont les publicités. J'avais vu une interview où il disait : « Non, je ne vais pas faire de publicité dans ChatGPT. » Et quand le journaliste lui demandait pourquoi, pourtant ce serait une mine d'or pour vous, il disait : « Non, mais je ne pense pas qu'il y ait besoin, et ça ne correspond pas, pour moi, à l'expérience. » Et en fait, six mois plus tard, il y avait un dossier qui fuitait, selon lequel ChatGPT était déjà en train de faire des offres, parce que c'est trop tentant pour les publicitaires.

Pierre-ValentinExactement. L'IA vous connaît par cœur.

Aymeric RoucherVoilà, exactement. Quand on demande, non pas « est-ce que je dois aller à ma soirée ce soir ? », mais « est-ce que je dois aller à KFC ? » ou simplement « qu'est-ce que je dois manger ce soir ? », eh bien, s'il a eu la pub de McDonald's, en fait, c'est beaucoup plus insidieux qu'une publicité sur Google. Parce que Google n'a que le moyen un peu brutal de vraiment vous montrer McDonald's et de dire : « Tiens, regarde, McDonald's », et il vous le dit quarante fois par jour, et au bout d'un moment, ça vous énerve. Là, dans ChatGPT, il peut vous guider insidieusement : « Ah, tu aimerais bien un steak, un burger et des frites ? » « Non, ce serait pas mal. » [Rires] Et il n'a même pas besoin de vous donner le McDonald's : il peut simplement le suggérer. En fait, la publicité devient beaucoup plus puissante. Et je pense qu'au bout d'un moment, ça se rapproche du problème qu'on a avec les réseaux sociaux, où, en gros, on confronte un cerveau humain à des algorithmes qui sont quand même très bons pour le manipuler. Il va falloir qu'il y ait un contrôle sur ce que dit l'assistant aux gens, et que les gens puissent à peu près régler eux-mêmes les niveaux de différentes jauges.

Comment Aymeric Roucher utilise l'IA au quotidien

Pierre-ValentinQuels seraient les conseils que vous donneriez ? Déjà, comment est-ce que vous, vous utilisez l'IA au quotidien, sans tricher, sans mentir ? Et ensuite (vous me parlez de votre amante numérique, ChatGPT)… après, quel conseil, je dirais, de mise à distance ou d'utilisation (je ne sais pas, d'ailleurs, quel conseil il faudrait donner) pour ceux qui nous écoutent, qui doivent être un peu terrifiés à ce stade de la conversation ? Sachant que ce sont des questions que je me pose moi-même : je ne vous le dis pas sur le mode « moi, j'ai trouvé ma solution personnelle », j'ai envie de savoir, en fait.

Aymeric RoucherJe pense que c'est une question de plus en plus difficile, parce que les capacités se modifient tellement vite que la réponse change avec le temps. Mais alors, moi, je n'utilise pas tant le mode chat, simplement. Souvent, ce que j'ai, ce sont des questions techniques, et en gros, mon mode d'interface principal avec l'IA, c'est Claude Code. Ça pourrait être Codex, la version d'OpenAI : en gros, tous les grands faiseurs d'IA ont ce mode qui s'ouvre dans le terminal et qui peut faire des scripts sur votre ordinateur, ce qui le rend beaucoup plus puissant. Et du coup, même si j'ai une question (je me posais récemment la question de savoir si le trafic dans le détroit d'Ormuz a vraiment changé), eh bien, ça, en fait, je vais lancer Claude Code dessus, et je sais que dans deux heures, j'ai une réponse vraiment béton.

Quand vous posez une question, vous pouvez l'envoyer, tout le monde fait à l'oral ou à l'écrit. J'ai rajouté un outil de dictée vocale : c'est vraiment très pratique. En gros, je pose toutes mes questions : j'ai mon raccourci, je fais Ctrl-espace, hop, le micro s'ouvre, je parle, et ça copie-colle directement dans Claude Code. Et ensuite, en général, c'est très en parallèle. Alors, ça dépend si on a beaucoup joué à Age of Empires, si on est capable de gérer des flux très différents, mais moi, j'en ai quatre ou cinq, selon les tâches, qui travaillent toujours en parallèle. Et en plus, si je fais une étude sur un domaine spécifique, j'aime beaucoup l'outil Deep Research. Claude a un mode comme ça, ChatGPT aussi. Celui que je préfère, c'est celui de Google, qui cherche un très grand nombre de pages web et qui est très bon pour extraire le signal. Donc il ne vous fait pas une simple recension de trois cents pages tout au même niveau : il est capable d'extraire un peu le signal et de dire « tiens, c'est ça qui est vraiment important sur tout ce que j'ai vu ». Donc ça, je l'utilise, et pareil : quand j'ai une question, en général, j'en lance une dizaine, avec des questions qui diffèrent un peu, et ensuite j'agrège les résultats à la fin. Typiquement, pour agréger les résultats, je le fais encore faire par Claude Code : je copie-colle tous les résultats, je les mets dans mon application de prise de notes, et ensuite je fais tourner Claude Code dessus.

D'ailleurs, l'application de prise de notes, autre point : j'utilise Obsidian. Ce qui est très bien, c'est qu'en gros, les logiciels de prise de notes, d'habitude, les notes sont hébergées dans le cloud quelque part, on ne sait pas trop, mais en gros, vous n'y avez pas accès personnellement, que ce soit Notion, Evernote : à chaque fois, c'est hébergé dans un cloud. Et Obsidian est, à ma connaissance, le seul à être open source, et donc il essaie de ne pas vous bloquer dans son jardin, de vous obliger à payer tous les mois. Du coup, il se permet à ce titre de vous laisser accès aux fichiers, et donc les fichiers vivent tous en clair sur votre ordinateur. Et ce qui est génial avec l'IA, et c'est pour ça qu'Obsidian a explosé en popularité récemment, c'est que vous pouvez prendre Claude Code et lui dire : « Tiens, va prendre mes notes dans Obsidian, j'ai collé le résultat de telle recherche. Maintenant, tu me fais une note qui synthétise toutes les recherches qui sont dans ce dossier-là, tous les quinze fichiers texte que j'ai mis, tu les synthétises. » Et le mode d'output que j'utilise souvent, c'est de lui demander de ne pas me faire juste un texte, mais de me faire une page web. Avoir le résultat sous forme de page web, ça permet à l'IA de faire un graphique si elle a envie de mettre en valeur, de mettre en gras, des choses aussi simples que ça : en fait, ça change beaucoup la qualité du résultat.

Pourquoi il faut encore lire

Pierre-ValentinBon, on pourrait parler de plein d'autres choses, mais il faut quand même conclure. Et votre livre est incroyablement dense, mais, au vu de tout ce qu'on vient de dire, pourquoi est-il important de lire quand même ?

Aymeric RoucherTypiquement, moi, je me force, tous les soirs, à vraiment couper les écrans : j'essaie de me mettre une heure de lecture à chaque fois.

Pierre-ValentinBravo.

Aymeric RoucherJe pense que c'est un mode d'interaction où, pour le coup, on ne triche pas du tout. Le problème d'Internet et de l'IA, c'est que ce qui gagne, par notre propre sélection, en fait, on se condamne nous-mêmes à aller voir ce qui donne une récompense facile. Ce qui est facile. Voilà. En fait, on va prendre les bonbons, on va systématiquement se bâfrer de bonbons. Donc, si on est sur Instagram, on scrolle sur les reels tant qu'ils nous plaisent. Mais, naturellement, les reels qui vont être les plus regardés, ce sont ceux qui sont vraiment les plus plaisants à regarder, mais pas ceux qui transmettent des idées. Alors qu'un livre, je trouve que c'est le média où, en termes d'idées bien structurées par seconde, de cohésion et de construction, c'est assez incomparable pour transmettre des idées.

Pierre-ValentinPour ceux qui nous écoutent : à la fin de cette conversation, vous éteindrez votre téléphone, votre smartphone ou autre, et vous irez lire. Et ensuite, Aymeric Roucher, y a-t-il un ouvrage que vous auriez aimé avoir lu plus tôt ?

Aymeric RoucherJ'aurais pas tant pu le lire plus tôt, parce qu'il n'était pas encore sorti, mais il y a un très bon livre de Thibaut Giraud, qui s'appelle aussi Monsieur Phi sur les réseaux, et qui s'appelle La Parole aux machines ; le sous-titre, je crois, c'est Psychologie des grands modèles de langage. Là où mon livre aborde beaucoup le côté technique et cette projection des conséquences sur la société, lui va dans un domaine assez différent : on parle d'intelligence artificielle, qu'est-ce que ça veut dire, « intelligence », là-dedans ? Et il essaie de cerner à peu près les contours psychologiques, parfois très étranges et parfois, en fait, assez proches des nôtres, des IA. Par exemple, il étudie, dans ce livre, ce qui se passe ou pas, entre guillemets, dans le cerveau (en tout cas dans les profondeurs du réseau de neurones de l'IA) quand elle résout une partie d'échecs. Il y a pas mal de problèmes appliqués qui sont très intéressants dans ce livre, et je pense que la grande vertu que ça a, c'est que ça nous fait penser mieux à la manière dont fonctionnent les IA. Et je pense que c'est aussi pour ça que j'avais écrit mon livre avec cette partie technique au début, qui explique comment ça fonctionne : parce que je pense qu'on utilise beaucoup mieux ces outils quand on les comprend un peu mieux, quand on comprend un peu mieux leur fonctionnement.

Pierre-ValentinEt alors, ce que je dis à chaque fois, c'est que même un long podcast ne remplace jamais la lecture, qui est importante, et particulièrement la lecture de votre ouvrage, qui est d'une très, très grande pédagogie. C'est ce qui fait qu'un non-ingénieur comme moi a réussi à partiellement comprendre la partie technique, et ceux qui sont ingénieurs et qui nous écoutent vont se régaler. Ensuite, les deux derniers tiers portent sur toutes les répercussions possibles : culturelles, morales, éthiques, politiques, économiques, écologiques. On n'a même pas abordé ce sujet-là, parce qu'on n'a pas le temps de parler de tout, même sur quasiment deux heures. Donc, j'encourage vraiment vivement ceux qui nous écoutent à se ruer dessus. C'est un sujet sur lequel, en effet, il faut se former, et d'ailleurs, vous donnez des recommandations de façons de se former à la fin de l'ouvrage, parmi lesquelles vous citez l'excellente chaîne YouTube de Micode, qui parle de ce sujet de façon accessible. Mais en tout cas, Aymeric Roucher, un immense merci : c'était passionnant, je n'ai pas vu le temps passer, et ça donne le vertige, mais c'est vraiment passionnant.

Aymeric RoucherMerci beaucoup, Pierre. C'étaient de très bonnes questions. C'est toujours intéressant de creuser. À une prochaine fois, avec joie.