Paternalisme algorithmique
La Quatrième Blessure: un blogue sur l’éthique de l’intelligence artificielle. Martin Gibert (Université de Montréal, IVADO, CRÉ)
C’est Yoshua Bengio qui m’a soufflé l’idée. Ou plutôt le problème. Serait-il moralement acceptable d’utiliser l’intelligence artificielle pour persuader les gens de l’urgence climatique?
Le problème, pour le dire vite, c’est celui de la « manipulation gentille ». Peut-on utiliser la puissance de l’apprentissage machine pour modifier les croyances et les comportements des gens en vue de leur propre bien? Autrement dit, existe-t-il des circonstances dans lesquelles le paternalisme algorithmique serait moralement permis, voire requis? Si je suis loin d’avoir une position définitive sur la question, j’ai toutefois quelques éléments d’analyse à partager.
Comme je l’ai déjà évoqué dans le premier billet de ce blogue, la recherche en psychologie environnementale suggère que les êtres humains ont des difficultés toutes particulières pour réagir rationnellement aux changements climatiques. La crise nous apparait abstraite: nous n’avons pas vraiment peur. Elle est lointaine : nous préférons profiter de la vie au jour le jour (carpe diem, comme disait l’autre). Elle résulte d’actions collectives: nous ne nous sentons pas vraiment responsables. Elle est globale : nous nous sentons impuissants à l’échelle individuelle. Bref, plein de choses convergent pour conforter notre inertie climatique.
On en vient alors à espérer un miracle technologique pour rester sous le seuil des 2 degrés de réchauffement. Mais il n’y aura vraisemblablement pas de miracle — et il ne serait de toute façon pas rationnel de se comporter selon cette hypothèse. En fait, une solution technologique prometteuse pourrait même précisément consister à nous convaincre qu’il n’y aura pas de miracle.
Pourquoi cela? Parce que si le réchauffement climatique est un évènement très géophysique, avec des courbes de température et des concentrations de gaz, c’est aussi une question d’information. Et donc d’informatique et d’IA.
L’apprentissage machine contre les changements climatiques
On le sait, le stockage et la circulation de l’information contribue sérieusement au problème : environ 2% de nos GES, soit l’équivalent de l’industrie aérienne, sont directement imputables au numérique. Et c’est sans compter les ressources nécessaires à la fabrication du hardware. Mais n’y a-t-il pas de raison d’espérer? L’IA ne pourrait-elle pas donner un coup de main à l’humanité pour limiter les dégâts?
Sans doute et de plusieurs manières. Car l’apprentissage machine aide à décrire, prédire et prescrire. On peut recueillir des données pour avoir une perception la plus précise possible des changements climatiques et de leur évolution (description). On peut entrainer des algorithmes avec ce type de données afin d’identifier les risques ou des opportunités d’actions (prédiction).
Mais aussi — et c’est qui va nous intéresser ici — on peut mobiliser la puissance de l’IA pour programmer les actions d’une machine ou essayer d’influencer les comportements d’un humain. Ainsi, une voiture autonome peut prendre des « décisions » sur son trajet et sa consommation d’énergie qui réduiront son empreinte environnementale, tout comme un humain peut se fier à une application qui lui suggère un trajet en voiture ou l’incite à prendre le bus. On est alors dans le domaine de la prescription. Et c’est justement dans ce troisième domaine que se pose la question du paternalisme.
Pour donner un peu de consistance au problème, imaginons un système d’IA qui favoriserait la réduction de l’empreinte carbone de ses utilisatrices et utilisateurs. Comment? Par exemple, en les convainquant/persuadant de manger significativement moins de viande ou d’utiliser significativement moins l’avion. J’emprunte ces deux exemples d’initiative individuelle pro-environnement à la jeune Suédoise Greta Thunberg qui a lancé de mouvement des grèves de l’école pour le climat : elle ne prend pas l’avion et elle a convaincu sa famille de devenir végétalienne. Mais comment des algorithmes pourraient-ils faire mieux que Greta et tous les activistes qui expliquent déjà que si la tendance se maintient, on court à la catastrophe?
L’idée, c’est que l’IA pourrait décupler la force de conviction d’un message — et c’est en ce sens que les changements climatiques sont aussi une affaire d’information. Si notre inertie climatique vient en partie de ce que la crise nous apparait lointaine et abstraite, pourquoi ne pas en proposer des représentations frappantes? Comme l’explique la chercheuse Sasha Luccioni, à Montréal, une équipe du MILA vient justement de se lancer dans l’aventure.
« On va créer un site web avec des images personnalisées du réchauffement climatique. Il permettra à chacun de voir à quoi ressemblera sa propre maison ou sa rue dans cinquante ans. (…) Pour cela, on va utiliser Google Street View et des modèles de changement climatique, avec des probabilités. Ce sont des chiffres qui n’ont pas de réalité concrète qu’on va essayer de mettre en images. »
À quoi ressemblera ma maison, mon quartier, ma ville dans 50 ans? Ce n’est pas si loin : Greta Thunberg aura 66 ans. Même dans les scénarios optimistes, les stigmates des changements climatiques seront saillants: changement de la végétation, ciel sans nuages (un phénomène qui marque un « point de bascule »), inondations… Imaginez que vous chaussiez des lunettes VR qui vous donnent une sensation très forte de la réalité du péril climatique. Imaginez qu’on vous incite ensuite à vous engager concrètement : par exemple, j’arrête la viande, j’arrête l’avion, je fais du vélo. Imaginez que ces résolutions soient renforcées par divers outils adaptés au profil comportemental de chacune et chacun. Ça pourrait marcher.
C’est que l’impact de l’image semble crucial. On peut faire le parallèle avec Blue Marble, cette première photo de la Terre complètement éclairée prise en 1972 par une mission Appolo et devenue une véritable icône. Comme l’explique l’auteur et mathématicien Jean-Pierre Goux dans son TEDx, cette photo suscita à l’époque une véritable « conscience planétaire ». On peut même dire qu’elle apporta beaucoup de crédibilité aux arguments écologistes. Jean-Pierre Goux évoque également l’overview effect que la plupart des astronautes éprouvent lorsqu’ils sont en orbite: un sentiment très fort de bienêtre et un amour de la Terre dans sa globalité. On a beau savoir que la Terre est une planète, la voir tourner sous ses yeux est une expérience très puissante (que le projet blueturn.earth cherche d’ailleurs à reproduire avec des images vidéo).
Autrement dit, si les algorithmes, les chercheurs et les chercheuses peuvent éventuellement faire mieux que Greta Thunberg, c’est parce qu’ils ne s’adresseront pas seulement à notre système rationnel, mais aussi à notre système de cognition implicite et à nos émotions (le système 1 de Kahneman). C’est ainsi qu’on peut espérer « décupler la force de conviction d’un message ». Mais ne s’agit-il pas d’un doux euphémisme pour dissimuler un projet nettement plus controversé, à savoir manipuler l’opinion des gens?
Paternalisme fort et faible.
Car il va bien falloir se poser la question : de tels dispositifs sont-ils légitimes? On entre alors dans le ténébreux royaume de l’éthique et l’on ne doit pas s’attendre à une réponse univoque et décontextualisée. On peut penser à différents scénarios — site web, publicité Instagram, lunettes VR — qui soulèvent sans aucun doute des enjeux moraux spécifiques. Ils ont toutefois en commun d’introduire une tension entre un objectif louable (réduire nos émissions de GES) et un moyen beaucoup plus douteux (manipuler les gens). Vu d’en haut, vu depuis le panthéon des valeurs morales, on pourrait dire qu’il y a une friction entre le bienêtre des générations de moins en moins futures et l’autonomie des gens. Et c’est là toute la question du paternalisme.
Comment le définir? C’est l’attitude qui consiste à limiter l’autonomie d’une personne ou d’un groupe pour son bien. La définition un peu plus technique de Gerald Dworkin dans la Stanford Encyclopedia of Philosophy ne dit pas autre chose: « Le paternalisme est l’interférence d’un État ou d’un individu sur une autre personne, contre sa volonté et au motif que cette interférence sera la plus à même de la protéger d’un tort. » On remarque que le mot qui renvoie au latin pater (père) suggère qu’il serait légitime pour les parents de limiter l’autonomie de leurs enfants pour leur bien : « finis tes devoirs si tu veux jouer à la console ». Si le paternalisme envers les enfants est sans doute contestable, c’est surtout le paternalisme envers les adultes qui soulève la controverse. On dit même parfois que le paternalisme consiste justement à traiter des adultes comme s’ils étaient des enfants.
L’interdiction de consommer certaines drogues ou de vendre des boissons sucrées dans des formats XL (comme à New York depuis 2012), l’obligation de porter un casque ou une ceinture de sécurité constituent autant d’exemples « classiques » de paternalisme de l’État envers les individus. Pourquoi interdire à un individu une pratique qui ne le met que lui-même en danger? La critique du paternalisme, souvent portée par des philosophes libertarien.es, se fait ainsi au nom du respect de l’autonomie ou de la liberté individuelle. Il est bien sûr possible de défendre le paternalisme — en invoquant, par exemple, les couts ou les risques sociaux d’un comportement (ta liberté individuelle a des conséquences collectives : qui va payer pour ta fracture du crâne ou ton séjour en réhabilitation?). On peut aussi tout simplement postuler la prévalence du bienêtre sur l’autonomie.
Reste que les philosophes ont surtout analysé le concept en identifiant des types de paternalisme (ils font toujours ça!). Un exemple célèbre vient de John Stuart Mill dans son De la liberté (1859). Si je vois une personne « dans un état de délire, d’excitation ou de distraction l’empêchant de réfléchir » qui s’apprête à traverser un pont dangereux — parce qu’il est vermoulu — je peux l’empêcher de passer et donc interférer avec son désir. Pourquoi? Parce qu’elle ne sait pas ce qui l’attend mais aussi, plus fondamentalement, parce qu’on ne devrait pas, selon Mill, s’opposer aux interférences qui permettent de préserver l’autonomie d’un individu. On parle dans ce cas de paternalisme faible (soft).
Mais supposons que la personne soit au courant et qu’elle décide en toute connaissance de cause de s’aventurer sur le pont — parce qu’elle a le gout du risque ou qu’elle veut en finir. Supposons que je continue malgré tout à l’empêcher de passer. Dans ce second cas, on dira que j’opte pour un paternalisme fort (hard) : je décide à la place de la personne ce qui est bien pour elle, même si elle est pleinement rationnelle et informée.
Le pont de l’avenir humain est vermoulu
Qu’en est-il avec nos exemples de manipulation algorithmique pour contrer les changements climatiques? Faisons-nous bien face à du paternalisme — et de quel type ? Dans de nombreux cas, parler de paternalisme algorithmique semble inapproprié : il n’y a pas de limitation de l’autonomie d’un individu s’il décide librement de visiter un site web ou de chausser des lunettes VR — pour autant qu’il sait plus ou moins à quoi s’attendre. On voit mal en quoi ce serait foncièrement distinct de regarder un TED talk très persuasif.
Les choses seront un peu différentes s’il s’agit d’une publication personnalisée surgissant sur Instagram : je n’ai rien demandé et on me montre mon quartier dévasté dans 50 ans. Cette fois-ci, il y a bien une sorte d’interférence contre ma volonté : je n’ai pas choisi de recevoir ces informations. Peut-être faudrait-il d’ailleurs parler de paternalisme épistémique pour signifier que c’est un enjeu de connaissance. Mais s’il s’agit bien de paternalisme dans ce second cas (ce qui pourrait être contesté), je crois qu’on devra le qualifier de faible : pour reprendre l’exemple de Mill, on nous informe que le pont de l’avenir humain est vermoulu — mais on ne nous empêche pas de passer. Traduisons : on ne nous empêche pas d’acheter du steak ou un VUS.
Quoi qu’il en soit, ce paternalisme algorithmique faible serait-il moralement légitime? J’ai tendance à penser que oui. D’une part, la contrainte sur l’autonomie semble bien légère au regard du bienêtre attendu : si quelques annonces non sollicitées induisent des changements d’attitudes qui diminueront effectivement l’emprunte climatique, ça ne parait pas trop cher payé. Surtout, on peut considérer la chose comme une simple stratégie de défense : après tout, les publicités non sollicitées pour le steak ou les VUS sont monnaie courante en ligne. Autrement dit, la manipulation « gentille » pro-environnement ne serait qu’une manière de faire contrepoids à la manipulation publicitaire ordinaire.
Une manipulation peut-elle vraiment être gentille ?
Il n’empêche que cela reste bien, en un certain sens, de la manipulation boostée à l’apprentissage machine. Supposez qu’on puisse calibrer très précisément des messages pro-environnement en les adaptant à la personnalité de chacun : on met de l’avant les ravages sur la biodiversité pour les écolos, tandis qu’on insiste sur ce qui déstabilise l’ordre traditionnel pour les conservateurs; on utilise des tournures de phrases différentes selon qu’on s’adresse à une introvertie ou une extravertie, etc. Qu’elle soit gentille ou mercantile la manipulation n’est-elle pas toujours à proscrire? Une bonne fin peut-elle justifier n’importe quels moyens?
Depuis la parution du fameux livre de Cass Sunstein et Richard Thaler en 2008, il y a eu beaucoup de débat sur l’éthique des nudges, ces « petits coups de pouce » qui, en mettant par exemple les pommes devant les chips dans une cafétéria, induisent globalement les consommateurs à manger plus santé (voir Barton & Grüne-Yanoff 2015 pour une synthèse des débats). Cass Sunstein et Richard Thaler défendent la légitimité de ce qu’ils nomment un paternalisme libertarien, c’est-à-dire un paternalisme (faible) qui n’est pas vécu comme une limitation ou une interférence à notre liberté: quel amateur de chips irait se plaindre d’avoir à tendre le bras par-dessus les pommes à la cafétéria?
En fait, les nudges ne modifient pas seulement les préférences des gens pour leur bien personnel/prudentiel comme avec les pommes; ils peuvent aussi viser des objectifs prosociaux (comme la lutte au réchauffement climatique). Ainsi, sur une carte d’assurance maladie, on pourrait faire du don d’organe l’option par défaut en cas de décès. Il s’agit de modifier l’architecture du choix : les personnes qui, pour des raisons qui les regardent, ne souhaiteraient pas donner leurs organes devraient cocher la case — plutôt que l’inverse. De telles politiques publiques ont des conséquences très concrètes et documentées sur la disponibilité des organes. D’ailleurs, pour les paternalistes libertariens, une très bonne justification de ces nudges, c’est de rappeler que, dans toute architecture de choix, on doit avoir des paramètres par défaut. Dès lors, autant choisir les « meilleures ».
L’argument ne semble toutefois pas fonctionner pour les cas de paternalisme algorithmique qui nous occupent. Poster sur Instagram une image de mon quartier dévasté dans 50 ans, ce n’est pas paramétrer une quelconque option par défaut. C’est chercher à modifier mes préférences en me présentant une simulation qui provoque des émotions fortes. De plus, alors que les nudges visent généralement à influencer un comportement, le paternalisme algorithmique pro-environnement vise plutôt à modifier des désirs ou des croyances. (On peut bien sûr mobiliser des nudges pro-environnement, en faisant par exemple des plats végétaliens l’option par défaut dans un congrès universitaire, une réunion d’équipe ou une entreprise). En fait, le paternalisme algorithmique me semble plutôt analogue aux campagnes éducatives de santé publique — les images de tumeurs sur les paquets de cigarettes, par exemple.
Voilà peut-être pourquoi on s’attend à ce que les chercheuses et les chercheurs qui flirteraient avec le paternalisme algorithmique (faible) n’utilisent pas les mêmes procédés que les vendeurs de chars (voir Sunstein 2015 sur les différents types de manipulation). La manipulation « gentille » devrait être beaucoup plus transparente que sa version mercantile : sur les commanditaires, sur les objectifs, sur les méthodes. Elle devrait émaner d’une autorité légitime, reconnue pour ses objectifs prosociaux (un gouvernement, une ONG?). Plus important encore : le paternalisme algorithmique devrait véhiculer une information vraie — ou du moins qui reflète fidèlement les consensus scientifiques. Dans le cas d’une prévision sur le devenir d’un quartier dans 50 ans, par exemple, il s’agirait d’être aussi précis que possible, du genre « si la tendance se maintient, le scénario que vous voyez a 90% de chances d’advenir ». Bref, le paternalisme algorithmique faible ne semble permis que s’il révèle l’état du pont au meilleur de nos compétences actuelles.
Et paf, la machine à dégouter.
Poussons un peu le bouchon. À quoi pourrait ressembler un dispositif de paternalisme algorithmique fort? Il faudrait que la « persuasion » soit suffisamment puissante pour déterminer une attitude qui limite réellement l’autonomie. C’est assez difficile à imaginer. Ça pourrait même nous plonger dans des abimes métaphysiques : si l’IA consiste, le plus souvent, à optimiser des processus, que signifie « optimiser la persuasion »? Et n’existera-t-il pas toujours une part irréductible de liberté humaine dans la prise de décision? Une information reçue par un cerveau peut-elle déterminer un comportement au point d’y voir une limitation de l’autonomie?
Supposons que ce soit le cas. Supposons que les neurosciences découvrent une technique infaillible pour dégouter les gens de la viande, mettons une image subliminale qui fonctionnerait comme une sorte de « vaccin informationnel » : après avoir vu une vidéo, par exemple, votre esprit serait comme « reprogrammé » pour éprouver des haut-le-cœur dès qu’un produit carné touche à votre palais. Une machine à dégouter comme solution efficace et brutale : pas le choix d’être végé.
Bien sûr, on pourrait supposer que certain.es s’inoculent volontairement ce vaccin informationnel, ce qui ne poserait pas plus de problèmes éthiques que la décision d’utiliser de grands moyens pour arrêter de fumer ou avoir des enfants. Mais imaginez que vous êtes tranquillement en train de regarder une émission de cuisine, et pendant que les poivrons grillent au four (20 minutes à 200C), pendant la pause publicitaire, paf : on vous envoie le vaccin informationnel. Et paf, vous ne pourrez plus apprécier la viande. Et PAF, ce serait du Paternalisme Algorithmique Fort.
Sans aucun doute, ce scénario serait moralement problématique. On ne fait pas juste nous prévenir que le pont est vermoulu, on nous met de force dans le traversier. Le bannissement de la viande pour l’environnement ne répondrait pas non plus aux standards actuels d’acceptabilité sociale (et la route est encore longue : j’ai ouï dire qu’on servait des burgers de bœuf dans des ateliers sur le Machine Learning et les changements climatiques). Est-il pour autant impensable d’avoir un jour recours à un tel dispositif?
À supposer qu’un consensus social et politique soit présent, je crois qu’un PAF pro-environnement pourrait légitimement être considéré (surtout si le vaccin informationnel était réversible). Dire cela, j’en ai bien conscience, c’est aussi dresser la table pour une « dictature verte ». Mais mes lectures récentes en collapsologie — l’étude de l’effondrement de la civilisation industrielle — m’ont convaincu que, tout bien pesé, il se pourrait que ce soit la moins mauvaise des options.
Simuler une autre fin du monde
À Davos, en janvier dernier, devant une flopée de dirigeants internationaux, Greta Thunberg a eu des mots très crus:
« Notre maison est en feu. Résoudre la crise climatique est le plus grand et difficile défi qu’homo sapiens n’ait jamais eu à affronter. (…) Je ne veux pas que vous soyez plein d’espoir. Je veux que vous paniquiez.»
C’est pourquoi, pour finir ce trop long billet, on peut se demander si on prend bien la mesure de la menace climatique lorsqu’on tolère le paternalisme algorithmique faible tout en rejetant le fort. N’est-on pas en train de faire la fine bouche? Ne se laisse-t-on pas une fois de plus berner par ces biais cognitifs qui nous font sous-estimer le danger?
Dans leur livre Une autre fin du monde est possible (quel titre!), Pablo Servigne, Raphaël Stevens et Gauthier Chapelle envisagent l’après-catastrophe écologique. Et je dois dire que pour quiconque est encore en mode optimiste « l’effondrement est évitable », c’est assez déstabilisant. Mais c’est probablement réaliste. Comme la chroniqueuse Dalila Awada, je me suis surpris à éprouver cette étrange sensation de deuil ou d’anxiété diffuse en réalisant la chose « pour de bon ». Le monde tel que nous le connaissons ne survivra pas aux changements climatiques.
Dans leur essai stimulant, les auteurs nous engagent à dépasser notre deuil (et ses cinq phases : le déni, la colère, la négociation, la dépression et l’acceptation). Ils nous invitent aussi à « changer de récit » pour imaginer un monde post-effondrement qui soit quand même désirable. Et s’ils m’ont convaincu d’une chose, c’est que la résilience environnementale passera par la coopération, l’entraide et la confiance : « Nous avons besoin de tout le monde, tout simplement pour prendre soin des différents aspects de la vie, c’est-à-dire pour avoir un maximum de chance de nous relever après les chocs. » p.275. J’y vois une sorte d’objectif de fonds pour le développement de l’IA : comment, dès aujourd’hui, favoriser l’entraide entre les gens?
Il faut le dire, le scénario du repli sur soi, de la constitution de clans ou de classes ne peut malheureusement pas être écarté. On devine aisément à quoi pourrait ressembler un mouvement anti réfugiés climatiques. À cet égard, il faut peut-être voir le 15 mars 2019 comme un sinistre symbole, la grève mondiale pour le climat se déroulant le même jour que le massacre de Christchurch.
Reste que la chose qui m’a sans doute le plus troublé à la lecture du livre, ce sont ces données qui suggèrent que les millionnaires quittent les grandes villes quand ils ne se font pas construire de luxueux bunkers souterrains. D’où ma petite suggestion pour conclure : si un jour vous utilisez une simulation climatique, après avoir vu votre quartier sinistré par l’effondrement dans 50 ans, allez voir ailleurs et faites un saut dans un quartier protégé de millionnaires ou sur une ile de milliardaires.
Martin Gibert est chercheur en éthique de l’IA à l’Université de Montréal (rattaché à l’IVADO et au CRÉ). Page web personnelle.
