Avec l’IA, on va plus vite, mais on se trompe plus souvent

Onze rendus sur quinze contenaient la même erreur, et aucun de leurs auteurs ne l’a repérée. Le constat vient d’une étude mise en ligne le 10 octobre par des chercheurs de Microsoft et de l’université Carnegie Mellon, qui ont observé vingt professionnels travailler avec un agent IA sur le même exercice. Selon les auteurs, ceux qui déléguaient davantage allaient plus loin dans la tâche, mais produisaient aussi plus souvent des solutions invalides.

Toute la difficulté de la mesure de la productivité de l’IA tient dans cet écart. Les heures gagnées se comptent en une ligne ; la justesse de ce qui sort, beaucoup moins. C’est l’une des raisons pour lesquelles intégrer l’IA en entreprise demande davantage qu’un abonnement et un tableau de bord d’usage.

Plus complet, pas plus juste

L’exercice n’avait rien d’un jeu de laboratoire. Il s’agissait d’un test de recrutement pour un poste de data scientist dans une grande entreprise de logiciel américaine, d’ordinaire réalisé en plusieurs jours et sans IA. Les participants (cinq data scientists, cinq développeurs, cinq chefs de produit et cinq designers) avaient trente minutes, avec un agent de programmation, pour construire un premier modèle qui prédit les départs de salariés.

Le jeu de données contenait un piège annoncé dans la consigne : il ne dit pas qui est parti. Il faut donc fabriquer un indicateur de remplacement, puis comprendre ce que le modèle peut prouver avec. Laissé à lui-même, l’agent construit cet indicateur à partir des variables qu’il utilise ensuite pour prédire. Le modèle affiche alors une précision autour de 90 %, qui ne mesure rien d’autre que sa propre construction.

Sur les quinze rendus qui comportaient un modèle entraîné, onze contenaient cette erreur, et aucun de leurs auteurs ne l’a vue. Seuls deux participants ont identifié le problème : deux data scientists. Les novices rendaient des travaux plus complets que les experts (six sur douze ont produit une chaîne de traitement qui tourne de bout en bout, contre deux experts sur huit), mais les experts obtenaient de meilleures notes de validité, 59 % contre 50 %. Les chercheurs résument la différence d’une formule : les experts décident, les novices approuvent.

Un détail mérite l’attention. Deux participants ont demandé aux agents de se critiquer mutuellement, ou de vérifier eux-mêmes que tout le cahier des charges était couvert. Tous deux ont atteint 100 % de complétude. Aucun n’a repéré l’erreur.

Les auteurs restent prudents, et il faut l’être avec eux : vingt personnes, une seule organisation, un seul exercice, trente minutes. Ils présentent leurs résultats comme des pistes à confirmer, pas comme des effets établis. La tendance n’en est pas moins parlante.

Les heures gagnées mesurent la production, pas le travail

Le temps économisé se mesure au moment où l’IA produit. La vérification, les corrections et le coût des erreurs arrivent plus tard, souvent ailleurs : chez le collègue qui reprend le fichier, chez le client qui découvre une incohérence, dans une décision prise sur un chiffre faux. Un indicateur qui s’arrête à la production compte les gains et laisse les coûts hors du tableau.

L’éditeur Workday a tenté de chiffrer ce reliquat. Selon son enquête menée en novembre 2025 auprès de 3 200 salariés d’entreprises de plus de 100 millions de dollars de chiffre d’affaires, près de 40 % du temps gagné grâce à l’IA repart dans la reprise du travail : corriger, réécrire, revérifier. Seuls 14 % des répondants disent obtenir des résultats nets clairement positifs de façon régulière. Ce sont des déclarations, recueillies par un éditeur qui vend lui-même de l’IA ; elles recoupent pourtant ce que l’étude observe en direct.

Autre enseignement de l’étude, plus dérangeant pour qui pilote un déploiement : les participants qui faisaient le plus confiance à l’agent se sentaient plus sûrs d’eux, plus engagés et plus satisfaits. Leur travail n’était pas mieux noté pour autant. Une enquête de satisfaction auprès des utilisateurs mesure donc leur confort, pas la qualité de ce qu’ils livrent.

Trois mesures qui tiennent devant un directeur financier

Le temps net. On chronomètre la tâche de bout en bout : production, relecture, corrections, et reprise des erreurs découvertes après coup. On compare au temps de la même tâche faite sans IA. C’est ce chiffre, et lui seul, qui dit combien d’heures l’entreprise récupère.

La part acceptée sans retouche. Sur vingt résultats, combien partent tels quels, combien demandent une correction légère, combien sont refaits ? On y ajoute les erreurs repérées en aval, par un collègue ou par un client. Un taux d’acceptation qui monte signale un processus qui mûrit ; des erreurs en aval qui persistent signalent une relecture de façade.

La capacité de contrôle. La personne qui valide sait-elle dire si le résultat est juste, et pourquoi ? Dans l’étude, les experts répondaient correctement à 51 % des questions de compréhension sur leur propre travail, les novices à 22 %. Un test suffit : demander d’expliquer le résultat, et faire revérifier quelques sorties prises au hasard par la personne la plus compétente du service.

Quinze jours de relevés, sans usine à gaz

Inutile de monter un observatoire. Il suffit de choisir une tâche répétitive où l’IA est déjà utilisée, puis de relever pendant deux semaines, sur une vingtaine d’occurrences, trois données : le temps total relecture comprise, le nombre de retouches, et le verdict d’une revérification sur cinq cas tirés au sort. On met ces chiffres en regard du temps que prenait la tâche auparavant.

Le résultat se lit sans calcul savant. Si le temps net baisse et que les erreurs sont attrapées avant de sortir, on étend. S’il baisse mais que des erreurs passent, on renforce la vérification avant d’aller plus loin. S’il ne baisse pas, c’est souvent l’organisation du travail qu’il faut revoir avant l’outil : découper la tâche, décider quelles étapes confier à l’agent et lesquelles garder, plutôt que de tout lui laisser d’un bloc.

Le gain se fabrique au moment de la vérification

Le levier le plus sous-estimé ne consiste pas à produire plus vite, mais à rendre la vérification moins chère que la production. Un système qui cite sa source pour chaque affirmation, ou qui signale qu’il ne sait pas, se relit en quelques minutes. C’est ce qui rend utilisable un outil de réponse aux appels d’offres comme celui que nous décrivons dans nos cas d’usage de l’IA en entreprise : l’équipe ne rédige plus, elle contrôle, et le contrôle tient la route parce que chaque phrase renvoie à un document.

Les chercheurs appellent à juger l’aide d’un agent « non seulement à ce qu’elle accomplit, mais à la capacité des utilisateurs à évaluer encore le travail qu’ils produisent ». C’est aussi la bonne définition d’un gain de productivité : du temps rendu, sur un travail dont quelqu’un peut répondre.