MNEMOSYNEv0.1.2563

Podcasts/Elucid/Ganascia, Jean-Gabriel

Ganascia, Jean-Gabriel

informaticien et philosophe, ancien président du comité d'éthique du CNRS, auteur de Le mythe de la singularité et Servitude virtuelle

LA FACE CACHÉE DE L’IA : QUI CONTRÔLE LES ROBOTS ET DANS QUEL BUT ? - Jean-Gabriel Ganascia

Elucid · May 6, 2023

▶ Watch on YouTube

Core ideas

Ganascia part de ChatGPT pour clarifier une confusion terminologique centrale : l'intelligence artificielle est une discipline scientifique visant à simuler des facultés cognitives (perception, raisonnement, mémoire, langage), dont dérivent des technologies concrètes — mais parler d'« une intelligence artificielle » projette abusivement une forme d'âme sur un simple outil statistique. Il qualifie ChatGPT d'« affabulateur » : un logiciel qui anticipe le mot suivant par probabilité, sans aucune représentation du sens ni confrontation à la véracité, ce qui explique à la fois sa prolixité impressionnante et sa propension à produire des erreurs factuelles pures (illustrée par l'épisode où une réponse fausse de Bard sur le télescope James Webb a fait chuter l'action Google de 100 milliards de dollars). Il retrace la généalogie du champ depuis Pascal et Leibniz jusqu'à Turing, dont il détaille le fameux test de l'imitation, en passant par la cybernétique de Wiener et la naissance officielle de la discipline en 1956.

Il consacre une partie importante de l'entretien à démonter le « mythe de la singularité » : la loi de Moore, souvent extrapolée par des auteurs comme Ray Kurzweil pour prédire qu'un ordinateur dépasserait l'intelligence de toute l'humanité combinée d'ici 2045, a été explicitement démentie par Gordon Moore lui-même peu avant sa mort en 2023, qui rappelait qu'aucun phénomène naturel n'est réellement exponentiel indéfiniment. Ganascia affirme qu'une conscience machine autonome (au sens où la machine se donnerait ses propres lois et objectifs) n'est ni fondée scientifiquement ni même souhaitable — une voiture ou une arme véritablement autonomes seraient un cauchemar opérationnel, pas un progrès. Il relie ce mythe à une structure de pensée quasi religieuse en le rapprochant du gnosticisme antique (l'idée que le monde est mal fait et que la connaissance/technologie va le racheter), et souligne le paradoxe des grandes figures qui alertent sur les dangers de l'IA (Elon Musk, Stephen Hawking) tout en développant en parallèle des projets comme Neuralink, y voyant une stratégie commerciale attirant les financements par la dramatisation plutôt qu'un risque existentiel réel.

Il déplace ensuite le débat vers ce qu'il considère comme les véritables enjeux : les rapports de pouvoir. Il documente la stratégie des grandes entreprises technologiques américaines, influencées selon lui par une idéologie libertarienne (citant Peter Thiel), pour se substituer aux États sur des fonctions régaliennes — reconnaissance faciale (Clearview AI), aide « gratuite » à l'Ukraine en matière de reconnaissance de prisonniers russes (soulevant des questions de conventions de Genève), ou propositions de formation scolaire (Microsoft et l'Éducation nationale française). Il développe le concept de « servitude virtuelle » (en référence à La Boétie) : contrairement à la servitude volontaire classique, la dépendance moderne aux plateformes ne repose pas sur la contrainte mais sur le confort et l'habitude, ces plateformes agissant comme des « oracles » (organismes informationnels, terme emprunté à Luciano Floridi) devenus des points de passage obligés du lien social, ce qui leur confère un pouvoir considérable de mise en avant ou d'occultation de l'information — un renversement par rapport au panoptique de Bentham/Foucault, où le pouvoir résidait dans le fait de voir sans être vu, alors qu'aujourd'hui le pouvoir réside dans le fait d'être vu (économie de la visibilité).

Il nuance enfin plusieurs peurs répandues : sur la reconnaissance faciale, il distingue l'authentification (peu problématique), l'identification (dangereuse car permettant un suivi permanent, interdite en France) et la catégorisation (la plus pernicieuse, source d'erreurs et d'intrusion, comme la détection ethnique des Ouïghours en Chine) ; sur l'emploi, il relativise le risque de destruction massive au profit d'une transformation des métiers nécessitant un effort soutenu de formation continue ; et sur la vie privée, il distingue intimité, extimité et vie privée (notion apparue à la fin du XIXe siècle aux États-Unis), rappelant que sa protection est devenue une condition de la démocratie depuis les totalitarismes des années 1930, mais qu'elle échappe largement au contrôle démocratique lorsque les données sont captées par des acteurs privés extraterritoriaux plutôt que par un État de droit soumis à des recours. Il conclut en qualifiant ce nouvel ordre de « société féodale » émergente dominée par de nouveaux seigneurs numériques, plus préoccupante selon lui que les risques fantasmés de prise de pouvoir des machines elles-mêmes.

Excerpts

Sur la nature réelle de ChatGPT et le risque de le prendre pour un oracle :

“« Il n'y a aucune confrontation du texte qui est généré avec une base de données ou avec des données factuelles [...] c'est un affabulateur, un logiciel qui est de façon étonnante capable de construire des textes, mais il n'y a aucune idée possible, aucune représentation du sens des textes. »”

Sur le paradoxe des grandes figures qui alertent sur l'IA tout en développant des projets transhumanistes :

“« D'un côté il nous dit je vais vous protéger [...] pour ça je vais vous mettre des processeurs dans la tête [...] c'est une forme d'esclavage assez inquiétante ; mais le risque tel qu'il le présente, celui-là, n'est pas vraiment fondé. »”

Sur le renversement du pouvoir informationnel à l'ère numérique :

“« À une époque, c'était l'information qui donnait le pouvoir, les éminences grises, tout ce qu'il y avait d'obscur ; aujourd'hui c'est l'inverse, le pouvoir il est lié au fait que on ait vu [...] l'économie, c'est une économie de la vision. »”