Reach × Impact × Confidence ÷ Effort. Quatre lettres, une division, un classement. Le jour où j'ai découvert RICE, j'ai adoré : enfin une façon de prioriser sans passer deux heures en réunion à débattre de la fonctionnalité qui passe en premier. Et je ne l'avais jamais remis en question.

Imaginons deux fonctionnalités, même effort. La fonctionnalité A touche 1 000 personnes, avec un impact massif (3 sur l'échelle RICE) et une confiance de 50 %. La fonctionnalité B touche 1 500 personnes, avec un impact moyen (1) et une confiance de 100 %. Score de A : 1 500. Score de B : 1 500.

Pardon, quoi ? Un pari incertain qui pourrait tout changer et une petite amélioration dont nous sommes sûrs… valent exactement la même chose ? Alors on joue à pile ou face ? Ou on laisse Excel décider, puisqu'il semble avoir un avis ?

Je n'ai pas découvert cela en lisant un article sur RICE. Je l'ai découvert en construisant Métitra, un outil pour prioriser la recherche utilisateur. En essayant d'évaluer les risques, je suis tombé sur la même faille dans des méthodes bien plus anciennes et bien plus sérieuses. Spoiler : la faille n'est pas dans les chiffres. Elle est dans l'opération.

1. L'AMDEC, ou le charme discret de la multiplication

Multiplier des scores revient à accepter qu'un préjudice grave puisse être racheté par plein de petits riens.

Métitra part d'une idée simple : la recherche utilisateur coûte cher, alors concentrez-la là où une erreur coûterait cher et là où les preuves manquent. Le cas fondateur ? Sur SoCute Imaging, un projet medtech d'IRM hépatique, un guide d'entretien demandait aux radiologues combien de temps dure une IRM du foie. Ce chiffre était déjà publié. Du temps médical rare et coûteux, passé à faire réciter à des experts ce que nous aurions pu lire dans un article. La grande classe.

Pour noter le risque de chaque question, le réflexe naturel est l'AMDEC : analyse des modes de défaillance et de leurs effets, utilisée dans l'industrie et les dispositifs médicaux. Vous évaluez la gravité, l'occurrence et la détectabilité, vous multipliez, vous classez. Et il y a du vrai là-dedans : décomposer un risque en facteurs vaut déjà bien mieux qu'un doigt mouillé en l'air. La gravité et la probabilité sont également la façon dont le risque est défini dans l'ISO 14971, la norme de gestion des risques pour les dispositifs médicaux.

Sauf que la multiplication compense. Une erreur rare et catastrophique peut obtenir le même score qu'une erreur fréquente et inoffensive. Sur le papier, un diagnostic basé sur une mesure erronée pèse autant qu'une coquille corrigée tous les jours. Le calcul n'est pas faux. Il fait exactement ce qu'on lui demande… et c'est précisément le problème. Le manuel AMDEC de l'industrie automobile (AIAG-VDA, 2019) a fini par remplacer ce score par un tableau de priorités d'action, où la gravité fixe le plafond.

2. Cox, ou le jour où j'ai rouvert RICE

Un score ne ment pas. Il efface.

En creusant les critiques de l'AMDEC, je suis tombé sur Louis Anthony Cox Jr. et son article « What's Wrong with Risk Matrices? », publié dans Risk Analysis en 2008. Il a pris les matrices de risques au sérieux, bien plus au sérieux que nous, et les a passées au crible, à la main. Le verdict : elles classent mal, elles écrasent les écarts entre des risques très différents, et elles reposent sur des jugements subjectifs qui sont ensuite présentés comme une mesure.

Un exemple auquel tout le monde a déjà été confronté : l'accessibilité. Un bouton de paiement inaccessible au clavier ou avec un lecteur d'écran. La probabilité ? « Faible, cela ne concerne que quelques utilisateurs. » Case verte, hors du sprint, tout le monde est content. Sauf que pour la personne qui utilise un lecteur d'écran, l'impasse n'arrive pas rarement : elle arrive systématiquement. La matrice répartit sur tous les utilisateurs un préjudice qu'un groupe spécifique subit de plein fouet. Ce n'est pas un détail d'interface. C'est une boutique en ligne qui rompt sa promesse envers une partie de ses clients. C'est pourquoi Métitra prend en compte la diversité des utilisateurs et se demande, pour chaque question, si une erreur toucherait à la raison d'être du service.

Et puis… RICE. Même famille. Des scores sur des échelles arbitraires, multipliés entre eux, puis divisés par une estimation de l'effort. La confiance, par exemple, ne mesure pas l'incertitude : elle la dissout dans un coefficient. Une confiance de 50 % devrait vouloir dire « nous ne savons pas, allons vérifier ». Dans RICE, cela signifie simplement « diviser par deux ». Tout le monde peut aller déjeuner.

Je me suis amusé à le tester ailleurs, sur d'autres cas. Et cela se complique. Non pas parce que RICE est stupide : il fait ce pour quoi il a été conçu, ordonner rapidement une liste de paris comparables. Les ennuis commencent lorsqu'on lui demande de comparer des paris qui ne se ressemblent pas du tout, et qu'on traite son verdict comme une pesée. Un framework n'est pas un instrument de mesure. C'est une aide à la discussion qui se fait passer pour une balance.

3. ELECTRE : quand les critères votent au lieu de s'additionner

Certains préjudices ne peuvent être rachetés par aucun gain.

Nous avons donc cherché ailleurs. Vers l'aide multicritère à la décision, et en particulier ELECTRE, la famille de méthodes de Bernard Roy (avec les synthèses de Denis Bouyssou). Le principe ? Les critères ne s'additionnent pas, ils votent. Et un seuil de veto peut bloquer une conclusion, quoi que dise le reste. Exactement ce qui manquait à l'AMDEC.

Difficulté n° 1 : sur une échelle de 1 à 5, le veto ne suffisait pas. Il n'y avait aucun moyen de qualifier un risque rare mais catastrophique d'« inacceptable » sans brouiller tous les autres cas. Le veto existait… il votait juste timidement.

Difficulté n° 2 : rejouée sur le cas SoCute, notre première version a placé 5 thèmes sur 6 en priorité 1. Un modèle qui dit que tout est urgent ne dit rien. C'est l'alarme incendie qui fait évacuer tout l'immeuble pour une tartine brûlée. En creusant, nous avons compris pourquoi : nous confondions la criticité d'une question et l'urgence de mener des recherches dessus. Une question critique déjà documentée dans la littérature n'a pas besoin d'une seule heure du temps d'un radiologue.

Difficulté n° 3 : six critères, c'était trop. La criticité de la tâche chevauchait la gravité, et la détectabilité marchait sur les plates-bandes de l'irréversibilité. Nous sommes redescendus à quatre.

D'où un calcul en deux étapes. D'abord, un avis non compensable : si une erreur peut causer un préjudice grave et irréparable à autrui, rien ne peut le compenser. Une entreprise peut choisir de risquer son propre argent. Elle ne peut pas échanger le tort causé à autrui contre son propre gain. C'est seulement ensuite qu'ELECTRE TRI classe le reste. Et lorsque les calculs prudent et optimiste ne sont pas d'accord, l'outil ne tranche pas à votre place : il marque la question comme « à discuter en atelier ». Enfin, la priorité croise ce risque avec les preuves déjà disponibles. Sur SoCute, deux questions sur sept peuvent être tranchées sans aucun temps médical, et deux autres en partie.

4. Des seuils imparfaits, à dessein

Un seuil ouvertement provisoire vaut mieux qu'une précision inventée.

Ensuite, il a fallu fixer des seuils. Deux options : inventer des chiffres qui ont l'air sérieux, ou s'appuyer sur l'existant et dire clairement où il s'arrête. Nous avons choisi la seconde.

Pour décomposer une solution, nous nous sommes inspirés de Teresa Torres et de Continuous Discovery Habits : désirabilité, viabilité, faisabilité, utilisabilité, éthique. Un petit calcul qui pique : une solution reposant sur quatre hypothèses essentielles, chacune ayant 80 % de chances d'être vraie, n'a qu'environ 41 % de chances de tenir debout. L'intuition aurait parié bien plus haut (Tversky et Kahneman l'avaient déjà démontré en 1974).

Pour le nombre d'entretiens, nous nous sommes alignés sur Guest, Bunce et Johnson (2006) : la plupart des thèmes apparaissent en l'espace de 6 entretiens, et la saturation est atteinte autour de 12 dans un groupe homogène. D'où nos seuils, par segment : moins de 3, aucune validité ; 3 à 4, faible ; 5 à 9, partielle ; 10 ou plus, forte. La saturation prouve qu'un schéma existe. Pas combien de personnes le partagent. Pour une quantité, c'est le sondage et sa marge d'erreur qui font foi : 15 réponses sur 500 employés, c'est environ ±25 points. Autant consulter une boule de cristal (au moins, elle ne prétend pas avoir un échantillon).

Tout le reste est étiqueté « provisoire » : les poids, les seuils de veto, les profils ELECTRE TRI. Ils seront mis à l'épreuve avec de vrais testeurs. Parce qu'un outil qui vend de la rigueur tout en cachant ses approximations ferait exactement ce qu'il prétend corriger. Même logique pour le veto : si une grande partie des questions d'un programme finissent « inacceptables », l'outil le signale. Un veto qui devient la norme ne protège plus rien.

Et une règle que nous nous imposons : les questions sont notées avec ce que nous savons au moment du cadrage, jamais avec les résultats obtenus après coup. Sinon, le modèle aurait toujours raison… a posteriori. Comme tout le monde. Sur SoCute, nous avions supposé un seul type d'utilisateur ; il y en avait deux. C'est pourquoi un score supposé devient une fourchette, et une question à vérifier.

5. Prototyper chaque cas

Nos frameworks ne sont pas faux. Ils n'ont simplement jamais été testés par les personnes qui les utilisent.

Que retiens-je de tout cela ? Nous travaillons avec des frameworks profondément imparfaits : RICE, les matrices de risques, le score AMDEC. Et nous ne les remettons pas en question. Pas par paresse, mais parce que personne n'a le temps de prototyper chaque cas. Cox l'a fait à la main. Respect.

C'est là que l'IA change la donne, et pas là où on l'attend. Pas en décidant pour moi : en élargissant ce que je peux lire, et ce que je peux tester. Elle m'a apporté des sources que je n'aurais jamais trouvées seul, de la gestion des risques des dispositifs médicaux à l'aide multicritère à la décision, et je les ai lues. Elle m'a permis de rejouer chaque cas, SoCute puis un projet d'inspection qualité dans le textile, jusqu'à ce que je voie où le modèle casse. L'IA ne m'a pas donné la bonne réponse. Elle m'a donné les moyens de voir où les réponses toutes faites échouent.

L'IA m'augmente. Elle ne me pilote pas.

Alors la prochaine fois qu'un score tranche votre priorisation, essayez quelque chose de tout bête : cherchez deux options très différentes qui obtiennent le même score. Si vous les trouvez, le score ne mesure pas ce que vous croyez. Et c'est là que la vraie conversation commence.

Métitra est un travail en cours, et open source. Si vous souhaitez le tester, ou le pousser dans ses retranchements, je suis tout ouïe.