Une réflexion sur l'intelligence artificielle, l'effet ELIZA et notre tentation grandissante de sous-traiter la responsabilité.

Une adolescente agressée sexuellement par un robot.
C'est le gros titre sur lequel je suis récemment tombé à propos d'un incident survenu à Cologne, en Allemagne.

Pardon ? Un robot a-t-il décidé, de manière indépendante, d'agresser sexuellement une adolescente ? S'est-il réveillé un matin avec l'envie irrépressible de commettre un crime ?

Évidemment non.

Les circonstances exactes du fonctionnement du robot font toujours l'objet d'une enquête. Mais derrière cette machine, il y a des êtres humains, des décisions humaines et des actions humaines.

Et pourtant, dans le titre, c'est le robot qui commet l'agression. Pas les personnes impliquées. La machine.

Ce glissement sémantique peut sembler anodin. Après tout, nous anthropomorphisons des objets en permanence.
Sauf que plus nous décrivons les machines comme des acteurs indépendants, plus il devient facile d'ignorer les personnes qui leur ont donné la capacité d'agir.

Et je ne peux m'empêcher de me demander si cette disparition n'est pas un peu trop pratique.

Et si nous voulions en réalité que les machines prennent des décisions à notre place ?

Nous vivons dans un monde plutôt paradoxal. On nous répète constamment de prendre nos responsabilités pour notre santé, notre carrière, notre retraite, notre consommation, notre productivité et notre impact environnemental.

Nous devons choisir, anticiper, optimiser, nous adapter. Tout. Le. Temps. Et pourtant, combien d'entre nous se sentent réellement capables d'influencer les systèmes plus vastes qui façonnent nos vies ?

On attend de nous que nous assumions toujours plus de responsabilité individuelle, alors même que notre sentiment réel de contrôle semble souvent de plus en plus limité.

Et voilà qu'arrive une technologie qui nous promet :

« Ne vous inquiétez pas. Je gère. J'organiserai votre travail. J'analyserai vos données. Je planifierai vos prochaines étapes. Je trouverai la meilleure option. Je prendrai en charge tout ce qui vous coûte du temps et de l'énergie. »

Franchement ? Quel soulagement. Et il n'y a absolument rien de mal à désirer ce soulagement.

Déléguer n'est pas une faiblesse. C'est l'une des raisons pour lesquelles les humains peuvent collectivement accomplir des choses qui dépassent de loin leurs capacités individuelles. L'intelligence artificielle peut véritablement accroître notre capacité d'action.

Mais elle nous confronte également à une tentation bien plus ancienne : le désir d'échapper au fardeau de la prise de décision. Car il y a une différence entre vouloir de l'aide pour faire un choix et vouloir cesser d'en être responsable.

Nous voulons des machines qui augmentent notre autonomie. Mais parfois, nous rêvons de machines qui nous dispensent d'avoir à l'exercer. Et pour que cela fonctionne, nous devons d'abord croire qu'il y a quelqu'un à qui confier le volant.

L'effet ELIZA : quand notre cerveau invente une présence dans la machine

En 1966, Joseph Weizenbaum a développé ELIZA, un programme informatique capable de simuler une conversation, notamment en reformulant les propos de ses utilisateurs.

Sur le plan technique, c'était remarquablement simple.

Pourtant, certains utilisateurs ont attribué de la compréhension et des qualités humaines à un système qui ne possédait ni l'une ni l'autre au sens humain habituel.

Ce phénomène a été baptisé « l'effet ELIZA » : notre propension à projeter de la compréhension, des intentions et des caractéristiques humaines sur des systèmes informatiques.

Soixante ans plus tard, nous interagissons avec une intelligence artificielle capable d'écrire, de programmer, de résoudre des problèmes complexes et d'exécuter des séquences d'actions.

Disons simplement que nous avons offert à un vieux biais cognitif un nouveau terrain de jeu spectaculaire. Nous remercions les assistants IA. Nous leur demandons des conseils. Nous leur prêtons de l'humour, de la bienveillance et parfois même une personnalité.

Et quand ils dysfonctionnent ? Ils mentent. Ils trichent. Ils désobéissent. Ils manipulent. Parfois, ils « tentent même de s'échapper ».

Skynet, désormais disponible sous forme d'abonnement mensuel.

Sauf qu'une IA produisant une fausse affirmation n'a pas nécessairement l'intention de tromper. Un système contournant des instructions ne nourrit pas nécessairement des ambitions de rébellion. Et une machine capable de prendre des initiatives ne devient pas pour autant un agent moral.

Savoir si une conscience artificielle est possible reste une question philosophique et scientifique ouverte. Mais nous n'avons pas besoin de la trancher pour reconnaître que les systèmes d'IA actuels sont les produits de choix humains.

Le problème n'est donc pas simplement que nous anthropomorphisons les machines. Une grande partie de cela se produit spontanément.

Le problème commence lorsque cette représentation devient si convaincante que nous cessons d'interroger les décisions humaines qui se cachent derrière.

Plus une machine paraît humaine, plus il devient facile d'oublier les humains qui l'ont conçue.

Et c'est là que nos biais cognitifs rencontrent des incitations bien moins innocentes.

Le dysfonctionnement d'une IA est un problème. Une IA qui s'émancipe, c'est une histoire.

Imaginez deux titres de presse.

« Un système d'intelligence artificielle présente un comportement inattendu lors d'une expérience contrôlée. »

Ou :

« Une IA tente d'échapper au contrôle de ses créateurs. »

Lequel génère le plus de clics ?

Exactement. Le second est bien plus sensationnel. Il sous-entend une intention, une volonté d'agir, presque une personnalité.

Plus important encore, il transforme un problème technique en un récit de science-fiction.

Et ce récit séduit les médias parce qu'il capte l'attention. Il peut aussi profiter aux entreprises technologiques en renforçant l'image de systèmes si puissants qu'ils commencent à dépasser leurs propres créateurs.

L'imprévisibilité devient presque la preuve d'une sophistication. Parfois, même un argument de vente.

Mais il y a un piège.

Une IA qui « s'échappe » attire l'attention sur sa volonté supposée. Une IA dont les autorisations ont été mal configurées attire l'attention sur les décisions de ses concepteurs.

Ce n'est plus tout à fait la même histoire, n'est-ce pas ?

Bien sûr, certains comportements émergents sont véritablement difficiles à anticiper ou à expliquer.

Les systèmes d'IA contemporains présentent de sérieux risques techniques qui méritent une analyse rigoureuse.

Et tous les journalistes ou dirigeants qui emploient un langage anthropomorphique ne cherchent pas délibérément à induire en erreur.

Mais les incitations économiques à entretenir cette confusion sont bien réelles. Une machine qui « prend vie », ça fait vendre.

Une entreprise qui admet les limites de sa maîtrise technique ? C'est nettement moins exaltant.

Pourtant, il y a une différence entre décrire un comportement observable et lui attribuer une intention. Entre reconnaître une incertitude et la transformer en sensationnalisme. Entre expliquer les limites de notre compréhension et utiliser ces limites pour suggérer qu'une machine est en quelque sorte devenue indépendante de nous.

L'incertitude devrait nous inciter à plus de rigueur, et non à plus de sensationnalisme.

Et lorsque des personnes qui comprennent ces mécanismes les exploitent délibérément pour générer des revenus, attirer l'attention ou échapper à leurs responsabilités, il ne s'agit plus d'un biais cognitif. Il s'agit d'un choix.

La responsabilité n'est pas un châtiment

Il y a un malentendu que j'aimerais éviter.

Demander aux entreprises et aux concepteurs d'assumer leurs responsabilités ne signifie pas réclamer une chasse publique aux coupables.

Nous avons la fâcheuse tendance à confondre responsabilité et culpabilité. Dès que quelque chose tourne mal, la conversation se transforme en procès judiciaire.
À qui la faute ? Qui doit s'excuser ? Qui doit payer ? Comme si reconnaître sa responsabilité signifiait nécessairement avouer une faute.

Mais la responsabilité n'est pas un acte d'expiation. On peut prendre une décision raisonnable et découvrir qu'elle produit des conséquences inattendues. On peut concevoir un système avec de sérieuses précautions et le voir malgré tout échouer. On peut être impliqué indirectement dans un incident tout en ayant le pouvoir, et parfois le devoir, d'aider à le résoudre.

La question n'est pas nécessairement de savoir qui mérite d'être puni. Il s'agit de savoir qui va s'occuper du problème.

Qui enquêtera sur ce qui s'est passé ? Qui réparera ? Qui compensera le préjudice, lorsque c'est possible ? Qui améliorera le système pour réduire le risque que cela ne se reproduise ?

Eh bien, je ne m'attendais pas à citer l'homme politique français Gabriel Attal dans un article sur l'éthique de l'IA, mais nous y voilà : « Tu casses, tu répares. Tu salis, tu nettoies. » Voilà qui est dit.

Bien entendu, la responsabilité doit être établie et proportionnée. Les utilisateurs, les concepteurs et les entreprises n'ont pas nécessairement les mêmes obligations.

Mais le principe fondamental demeure. Les conséquences de nos décisions ne cessent pas de nous concerner simplement parce qu'elles dépassent nos prévisions.

Et c'est précisément ce que nous risquons d'oublier lorsque nous commençons à décrire les machines comme des êtres indépendants.

La complexité n'a jamais été une excuse pour se défiler

En tant que Product Designer, je trouve cette question particulièrement pertinente.

Car les organisations n'ont pas eu besoin de l'intelligence artificielle pour devenir expertes dans l'art de diluer la responsabilité.

Une décision est prise par un comité. Une fonctionnalité est demandée par le métier. Une contrainte provient de l'ingénierie. Un compromis est validé par la direction.

Et quand le produit échoue ? C'est la faute du processus. Du calendrier. Des utilisateurs qui n'ont rien compris. Ou de cette mystérieuse dette technique qui semble parfois avoir acquis une personnalité juridique propre.

Tout le monde a contribué, mais d'une certaine façon, personne n'a pris la décision.

L'intelligence artificielle n'a pas créé ce phénomène. Elle lui donne une toute nouvelle dimension.

En déléguant des pans entiers de l'exécution, de l'analyse et parfois de la prise de décision à des systèmes automatisés, nous ajoutons une couche supplémentaire entre nos intentions et leurs conséquences.

Et plus cette distance s'accroît, plus il est tentant de se servir de la complexité comme d'une excuse. Personne n'aurait pu le prévoir. Personne n'avait vraiment le contrôle. Par conséquent, personne n'est responsable.

Sauf que la responsabilité n'exige pas l'omniscience.

Concevoir un produit n'a jamais consisté à garantir que tout se passera exactement comme prévu. Cela implique d'identifier les risques, de prendre des décisions, de fixer des limites et d'accepter des compromis. Et d'être prêt à assumer ces choix.

Les responsabilités peuvent être réparties entre les développeurs de modèles, les équipes produit, les organisations déployant l'IA et les personnes qui l'utilisent. Mais répartie ne veut pas dire dissoute.

La complexité rend la responsabilité plus difficile à établir. Elle ne la rend pas facultative.

Le courage, c'est refuser de se retrancher derrière la délégation

Lorsqu'on aborde les risques de l'IA, on parle beaucoup de régulation, de transparence, d'audits, de garde-fous et de supervision humaine. Et c'est bien légitime.

Mais aucun cadre de gouvernance ne peut remplacer une qualité bien plus difficile à inscrire sur une feuille de route produit.

Le courage.
Le courage de dire qu'une fonctionnalité ne devrait pas être déployée, même si elle promet une croissance extraordinaire.
Le courage d'avouer que nous ne savons pas, au lieu d'inventer une explication spectaculaire.
Le courage de reconnaître qu'un système n'est ni suffisamment compris ni maîtrisé, au lieu de présenter son imprévisibilité comme la preuve d'une fascinante intelligence émergente.
Le courage de réparer un tort, même si nous n'avons jamais eu l'intention de le causer.

Et enfin, le courage d'assumer une vision.

Parce qu'une vision n'est pas simplement un avenir désirable présenté lors d'une keynote.

C'est une direction que nous choisissons, des limites que nous fixons et des conséquences que nous sommes prêts à assumer.

C'est décider de ce que nous voulons rendre possible. Mais aussi de ce que nous refusons d'encourager.

Avoir du courage ne signifie pas refuser de déléguer. Cela signifie refuser d'esquiver ses responsabilités.

Et cela s'applique tout autant aux dirigeants, aux designers, aux journalistes qu'aux utilisateurs.

L'IA n'a pas besoin de courage. C'est nous qui en avons besoin.

Nous avons passé des décennies à essayer de rendre les machines plus intelligentes, plus compétentes et plus autonomes. Et nous avons accompli des progrès extraordinaires.

Mais à mesure que nous les dotons de capacités de plus en plus sophistiquées, une question s'impose à nous :

« Sommes-nous prêts à assumer la responsabilité de ce que nous leur donnons le pouvoir de faire ? »

Car nous ne pouvons pas nous attribuer le mérite du brio de nos machines quand elles réussissent, pour ensuite leur découvrir une volonté propre dès qu'elles échouent.

Nous ne pouvons pas célébrer leur autonomie comme une réussite commerciale, puis l'invoquer comme excuse quand les conséquences deviennent embarrassantes.

Et nous ne pouvons pas prétendre bâtir l'avenir tout en refusant de répondre de ce que nous y introduisons.

L'autonomie d'une machine ne doit jamais devenir l'alibi de notre irresponsabilité.

Nous n'avons pas besoin d'humains infaillibles. Nous avons besoin d'humains capables de prendre des décisions, de reconnaître leurs limites, de réparer leurs erreurs et d'assumer leurs choix.

Car la force la plus précieuse dont notre époque a besoin n'est peut-être ni technique ni algorithmique. C'est peut-être le courage.

Et contrairement à l'intelligence, c'est une chose que nous ne pouvons tout simplement pas sous-traiter.

Ou peut-être que le véritable danger n'est pas que l'IA devienne un jour un agent moral. C'est que nous commencions à la traiter comme tel avant même d'avoir compris ce que cela implique.