Une réflexion sur l'intelligence artificielle, l'effet ELIZA et notre tentation grandissante d'externaliser la responsabilité.

Une adolescente agressée sexuellement par un robot.
C'est le titre sur lequel je suis récemment tombé à propos d'un incident survenu à Cologne, en Allemagne.

Pardon ? Un robot a-t-il décidé de manière autonome d'agresser sexuellement une adolescente ? S'est-il réveillé un matin avec l'envie irrépressible de commettre un délit ?

Évidemment non.

Les circonstances exactes du fonctionnement du robot font toujours l'objet d'une enquête. Mais derrière cette machine se trouvent des êtres humains, des décisions humaines et des actions humaines.

Et pourtant, dans le titre, c'est le robot qui commet l'agression. Pas les personnes impliquées. La machine.

Ce glissement linguistique pourrait sembler anodin. Après tout, nous anthropomorphisons des objets en permanence.
Sauf que plus nous décrivons les machines comme des acteurs indépendants, plus il devient facile d'oublier les personnes qui leur ont donné la capacité d'agir.

Et je ne peux m'empêcher de me demander si cette disparition n'est pas un peu trop commode.

Et si nous voulions en réalité que les machines prennent les décisions à notre place ?

Nous vivons dans un monde assez paradoxal. On nous répète constamment de prendre nos responsabilités pour notre santé, nos carrières, notre retraite, notre consommation, notre productivité et notre impact environnemental.

Nous devons choisir, anticiper, optimiser, adapter. Tout. Le. Temps. Et pourtant, combien d'entre nous se sentent réellement capables d'influencer les systèmes plus vastes qui façonnent nos vies ?

On attend de nous que nous assumions de plus en plus de responsabilités individuelles, alors même que notre sentiment réel de pouvoir d'action semble souvent de plus en plus limité.

Et voilà qu'arrive une technologie qui nous promet :

« Ne vous inquiétez pas. Je m'en occupe. Je vais organiser votre travail. Analyser vos données. Planifier vos prochaines étapes. Trouver la meilleure option. Prendre en charge tout ce qui vous coûte du temps et de l'énergie. »

Franchement ? Quel soulagement. Et il n'y a absolument rien de mal à vouloir ce soulagement.

Déléguer n'est pas une faiblesse. C'est l'une des raisons pour lesquelles les humains peuvent accomplir collectivement des choses qui dépassent de loin leurs capacités individuelles. L'intelligence artificielle peut véritablement décupler notre capacité d'action.

Mais elle nous confronte également à une tentation bien plus ancienne. Le désir d'échapper au fardeau de la prise de décision. Parce qu'il y a une différence entre vouloir de l'aide pour faire un choix et vouloir cesser d'en être tenu responsable.

Nous voulons des machines qui augmentent notre autonomie. Mais parfois, nous rêvons de machines qui nous dispensent d'avoir à l'exercer. Et pour que cela fonctionne, nous devons d'abord croire qu'il y a quelqu'un à qui nous pouvons céder le volant.

L'effet ELIZA : quand notre cerveau invente une présence dans la machine

En 1966, Joseph Weizenbaum a développé ELIZA, un programme informatique capable de simuler une conversation, notamment en reformulant les propos de ses utilisateurs.

D'un point de vue technique, c'était d'une simplicité remarquable.

Pourtant, certains utilisateurs ont attribué de la compréhension et des qualités humaines à un système qui n'en possédait aucune au sens humain habituel.

Ce phénomène a été baptisé l'effet ELIZA : notre tendance à projeter de la compréhension, des intentions et des caractéristiques humaines sur des systèmes informatiques.

Soixante ans plus tard, nous interagissons avec des intelligences artificielles capables d'écrire, de programmer, de résoudre des problèmes complexes et d'exécuter des séquences d'actions.

Disons simplement que nous avons offert à un vieux biais cognitif un terrain de jeu spectaculaire. Nous remercions les assistants IA. Nous leur demandons des conseils. Nous leur attribuons de l'humour, de la gentillesse, et parfois même une personnalité.

Et lorsqu'ils dysfonctionnent ? Ils mentent. Ils trichent. Ils désobéissent. Ils manipulent. Parfois, ils « tentent même de s'échapper ».

Skynet, désormais disponible sous forme d'abonnement mensuel.

Sauf qu'une IA qui formule une déclaration fausse n'a pas nécessairement l'intention de tromper. Un système qui contourne des instructions ne nourrit pas forcément d'ambitions de rébellion. Et une machine capable de prendre des initiatives ne devient pas automatiquement un agent moral.

La possibilité d'une conscience artificielle reste une question philosophique et scientifique ouverte. Mais nous n'avons pas besoin de la trancher pour reconnaître que les systèmes d'IA actuels sont le produit de choix humains.

Le problème n'est donc pas simplement que nous anthropomorphisons les machines. Une grande partie de cela se produit spontanément.

Le problème commence lorsque cette représentation devient si convaincante que nous cessons de remettre en question les décisions humaines qui se cachent derrière.

Plus une machine paraît humaine, plus il devient facile d'oublier les humains qui l'ont conçue.

Et c'est là que nos biais cognitifs rencontrent des incitations bien moins innocentes.

Un dysfonctionnement d'IA est un problème. Une IA qui s'émancipe est une histoire.

Imaginez deux titres d'actualité.

« Un système d'intelligence artificielle présente un comportement inattendu lors d'une expérience contrôlée. »

Ou alors :

« Une IA tente d'échapper au contrôle de ses créateurs. »

Lequel génère le plus de clics ?

Exactement. Le second est bien plus sensationnel. Il suggère une intention, une volonté propre, presque une personnalité.

Plus important encore, il transforme un problème technique en un récit de science-fiction.

Et ce récit est séduisant pour les médias car il capte l'attention. Il peut également profiter aux entreprises technologiques en renforçant l'image de systèmes si puissants qu'ils commencent à transcender leurs propres créateurs.

L'imprévisibilité devient presque une preuve de sophistication. Parfois, même un argument de vente.

Mais il y a un piège.

Une IA qui « s'échappe » attire l'attention sur sa prétendue volonté. Une IA dont les autorisations ont été mal configurées attire l'attention sur les décisions de ses concepteurs.

Ce n'est pas tout à fait la même histoire, n'est-ce pas ?

Bien sûr, certains comportements émergents sont véritablement difficiles à anticiper ou à expliquer.

Les systèmes d'IA contemporains présentent de sérieux risques techniques qui méritent une analyse rigoureuse.

Et tous les journalistes ou dirigeants qui emploient un langage anthropomorphique n'essaient pas délibérément d'induire qui que ce soit en erreur.

Mais les incitations économiques à entretenir cette confusion sont bien réelles. Une machine qui « prend vie », ça fait vendre.

Une entreprise qui reconnaît les limites de sa maîtrise technique ? C'est nettement moins excitant.

Pourtant, il y a une différence entre décrire un comportement observable et lui attribuer une intention. Entre reconnaître une incertitude et la transformer en sensationnalisme. Entre expliquer les limites de notre compréhension et utiliser ces limites pour suggérer qu'une machine est en quelque sorte devenue indépendante de nous.

L'incertitude devrait nous inciter à plus de rigueur, et non à plus de sensationnalisme.

Et lorsque des personnes qui comprennent ces mécanismes les exploitent délibérément pour générer des revenus, attirer l'attention ou échapper à leurs responsabilités, il ne s'agit plus d'un biais cognitif. C'est un choix.

La responsabilité n'est pas une punition

Il y a un malentendu que j'aimerais dissiper.

Demander aux entreprises et aux concepteurs d'assumer leurs responsabilités ne signifie pas réclamer une chasse aux coupables sur la place publique.

Nous avons une fâcheuse tendance à confondre responsabilité et culpabilité. Dès que quelque chose tourne mal, la conversation se transforme en procès d'assises.
À qui la faute ? Qui doit s'excuser ? Qui doit payer ? Comme si reconnaître sa responsabilité signifiait nécessairement avouer une faute.

Mais la responsabilité n'est pas un acte d'expiation. On peut prendre une décision raisonnable et découvrir qu'elle engendre des conséquences inattendues. On peut concevoir un système en prenant de sérieuses précautions et le voir malgré tout échouer. On peut être impliqué indirectement dans un incident tout en ayant le pouvoir, et parfois le devoir, d'aider à le résoudre.

La question n'est pas nécessairement de savoir qui mérite d'être puni. Elle est de savoir qui va prendre en charge le problème.

Qui mènera l'enquête sur ce qui s'est passé ? Qui corrigera le tir ? Qui réparera les préjudices, là où c'est possible ? Qui améliorera le système pour réduire le risque que cela se reproduise ?

Eh bien. Je ne m'attendais pas à citer l'homme politique français Gabriel Attal dans un article sur l'éthique de l'IA, mais nous y voilà : « Tu casses, tu répares. Tu salis, tu nettoies. » Voilà, c'est dit.

Bien entendu, la responsabilité doit être établie et proportionnée. Les utilisateurs, les concepteurs et les entreprises n'ont pas forcément les mêmes obligations.

Mais le principe fondamental demeure. Les conséquences de nos décisions ne cessent pas de nous concerner simplement parce qu'elles dépassent nos prévisions.

Et c'est précisément ce que nous risquons d'oublier lorsque nous nous mettons à décrire les machines comme des êtres indépendants.

La complexité n'a jamais été une excuse pour se défausser

En tant que Product Designer, je trouve cette question particulièrement pertinente.

Parce que les organisations n'ont pas attendu l'intelligence artificielle pour devenir expertes dans l'art de diluer les responsabilités.

Une décision est prise par un comité. Une fonctionnalité est demandée par le métier. Une contrainte provient de l'ingénierie. Un compromis est validé par la direction.

Et lorsque le produit échoue ? C'est la faute du processus. Des délais. Des utilisateurs qui n'ont rien compris. Ou de cette mystérieuse dette technique qui semble parfois avoir acquis sa propre personnalité juridique.

Tout le monde a apporté sa pierre à l'édifice, mais personne, d'une manière ou d'une autre, n'a pris la décision.

L'intelligence artificielle n'a pas créé ce phénomène. Elle lui donne une toute nouvelle dimension.

En déléguant des pans de l'exécution, de l'analyse, et parfois de la prise de décision à des systèmes automatisés, nous ajoutons une couche supplémentaire entre nos intentions et leurs conséquences.

Et plus cette distance s'accroît, plus il est tentant de se servir de la complexité comme d'une excuse. Personne n'aurait pu le prévoir. Personne ne contrôlait vraiment la situation. Par conséquent, personne n'est responsable.

Sauf que la responsabilité n'exige pas l'omniscience.

Concevoir un produit n'a jamais signifié garantir que tout se déroulera exactement comme prévu. Cela implique d'identifier les risques, de prendre des décisions, de fixer des limites et d'accepter des compromis. Et d'être prêt à répondre de ces choix.

Les responsabilités peuvent être réparties entre les développeurs de modèles, les équipes produit, les organisations qui déploient l'IA et les personnes qui l'utilisent. Mais réparties ne veut pas dire dissoutes.

La complexité rend la responsabilité plus difficile à établir. Elle ne la rend pas optionnelle.

Le courage consiste à refuser de se cacher derrière la délégation

Lorsqu'on évoque les risques liés à l'IA, on parle beaucoup de régulation, de transparence, d'audits, de garde-fous et de supervision humaine. Et à juste titre.

Mais aucun cadre de gouvernance ne peut remplacer une qualité bien plus difficile à inscrire sur une feuille de route produit.

Le courage.
Le courage de dire qu'une fonctionnalité ne devrait pas sortir, même si elle promet une croissance extraordinaire.
Le courage d'admettre notre ignorance, plutôt que d'inventer une explication spectaculaire.
Le courage de reconnaître qu'un système n'est pas suffisamment compris ou maîtrisé, au lieu de présenter son imprévisibilité comme la preuve d'une fascinante forme d'intelligence émergente.
Le courage de réparer un préjudice, même lorsque nous n'avons jamais eu l'intention de le causer.

Et enfin, le courage de s'engager derrière une vision.

Parce qu'une vision n'est pas simplement un futur souhaitable présenté lors d'une keynote.

C'est une direction que nous choisissons, des limites que nous établissons et des conséquences que nous sommes prêts à assumer.

C'est décider de ce que nous voulons rendre possible. Mais aussi de ce que nous refusons de permettre.

Le courage ne signifie pas refuser de déléguer. Il signifie refuser de fuir ses responsabilités.

Et cela s'applique tout autant aux dirigeants, aux concepteurs, aux journalistes qu'aux utilisateurs.

L'IA n'a pas besoin de courage. Nous, oui.

Nous avons passé des décennies à essayer de rendre les machines plus intelligentes, plus compétentes et plus autonomes. Et nous avons accompli des progrès extraordinaires.

Mais à mesure que nous leur conférons des capacités toujours plus sophistiquées, une question devient incontournable :

« Sommes-nous prêts à assumer la responsabilité de ce que nous leur donnons le pouvoir de faire ? »

Parce que nous ne pouvons pas nous attribuer le mérite du brio de nos machines quand elles réussissent, pour ensuite leur découvrir une volonté propre dès lors qu'elles échouent.

Nous ne pouvons pas célébrer leur autonomie comme une réussite commerciale, puis l'invoquer comme excuse lorsque les conséquences deviennent dérangeantes.

Et nous ne pouvons pas prétendre bâtir l'avenir tout en refusant de répondre de ce que nous y introduisons.

L'autonomie d'une machine ne doit jamais devenir l'alibi de notre irresponsabilité.

Nous n'avons pas besoin d'humains infaillibles. Nous avons besoin d'humains capables de prendre des décisions, de reconnaître leurs limites, de réparer leurs erreurs et d'assumer leurs choix.

Car la force la plus essentielle dont notre époque a besoin n'est peut-être ni technique, ni algorithmique. C'est peut-être le courage.

Et contrairement à l'intelligence, c'est une chose que nous ne pouvons tout simplement pas externaliser.

Ou peut-être que le véritable danger n'est pas que l'IA devienne un jour un agent moral. C'est que nous commencions à la traiter comme tel avant même d'avoir compris ce que cela signifie.