Workslop : comment éviter les documents IA bien faits mais creux

Dix onglets, des centaines de lignes, des cartes de flux, des scénarios chiffrés au trimestre. L’étude d’implantation d’un nouvel entrepôt, bouclée en une après-midi avec un agent IA, impressionne tous ceux qui l’ouvrent. Il faut pourtant attendre qu’un responsable des opérations la reprenne ligne à ligne, plusieurs jours plus tard, pour voir que le volume de commandes sur lequel tout repose a été tiré d’une année exceptionnelle. Le tableur était impeccable. Son point de départ était faux.

L’anglais a un mot pour ces livrables : le workslop, un travail généré par l’IA qui a l’apparence du bon travail sans en avoir la substance. Le mot a été popularisé par des chercheurs de Stanford et de BetterUp. Il décrit bien le symptôme, moins la mécanique. Car le problème ne vient pas d’une IA qui produirait mal. Les modèles agentiques produisent très bien, et c’est justement ce qui désarme le jugement de celui qui lit, et de celui qui a lancé la production. Savoir encadrer ces productions fait partie de ce qui a fait de l’intégration de l’IA en entreprise un métier, et non une affaire d’abonnement.

Plus le document est long, plus on lui fait confiance

La recherche commence à mesurer ce que chacun constate en réunion. Une équipe de l’université de Californie à Irvine a comparé la confiance que des utilisateurs accordent aux réponses d’un modèle de langage avec la justesse réelle de ces réponses. Son résultat, publié dans Nature Machine Intelligence : les explications plus longues augmentent la confiance des lecteurs, même quand la longueur supplémentaire n’améliore pas la justesse de la réponse. La longueur passe pour de la rigueur.

Les correcteurs humains, eux, savent faire la différence quand ils prennent le temps. Dans l’étude du MIT Media Lab sur la rédaction assistée par ChatGPT, les professeurs d’anglais chargés de noter les copies décrivent des textes à la langue et à la structure presque parfaites, souvent longs, mais où « beaucoup de phrases étaient vides de contenu ». Leur mot pour ces copies : « sans âme ».

Le lecteur pressé, lui, n’a pas ce recul. Et l’auteur non plus. Des chercheurs de l’université Aalto ont fait résoudre vingt problèmes de logique du LSAT, l’examen d’entrée des écoles de droit américaines, à des participants équipés de ChatGPT. Leur score a progressé d’environ trois points par rapport à la population de référence, mais ils ont surestimé leur performance d’environ quatre points : ils pensaient avoir trouvé 16 ou 17 réponses sur 20. Plus troublant, ceux qui se disaient les plus à l’aise avec l’IA évaluaient le plus mal leur propre travail. L’aisance avec l’outil donne de l’assurance, pas du discernement.

L’auteur ne sait plus ce qu’il a écrit

Le cas le plus dérangeant n’est pas celui du lecteur qui survole. C’est celui de l’auteur qui présente un document de quarante pages et s’y perd lui-même : il cherche la page où se trouve tel chiffre, découvre en séance une section qu’il n’avait pas demandée, répond aux questions en relisant à voix haute. Il n’a pas menti sur son travail. Il n’a simplement jamais été celui qui menait.

L’étude du MIT en donne une mesure brutale. Quelques minutes après avoir rendu leur dissertation, les participants devaient en citer une phrase de mémoire. Dans le groupe qui écrivait avec ChatGPT, 15 participants sur 18 n’y sont pas parvenus, contre 2 sur 18 dans les groupes qui écrivaient seuls ou avec un moteur de recherche. Aucun des 18 n’a produit une citation exacte. Les mêmes participants exprimaient un faible sentiment de propriété sur leur texte. L’échantillon est réduit et l’étude n’a pas encore été relue par des pairs, ses auteurs le disent eux-mêmes. La tendance recoupe pourtant ce que chacun a déjà vu en comité.

Le mécanisme se comprend sans neurosciences. Quand le modèle propose la structure, choisit les hypothèses et remplit les sections, l’utilisateur valide au fil de l’eau. Chaque validation est raisonnable prise isolément. Mais personne n’a posé la question qui aurait tout changé : « sur quoi repose ce plan, et que se passe-t-il si c’est faux ? ». Un document peut être cohérent de bout en bout et ne jamais avoir été challengé une seule fois.

Faire relire par une IA ne rattrape pas le coup

Face à quarante pages, la tentation est connue : demander à un autre assistant de faire la synthèse, de relever les incohérences, de noter la qualité. De l’IA qui produit, relue par de l’IA qui résume. Les données disponibles invitent à la méfiance.

Dans la même étude du MIT, les chercheurs ont fait évaluer les copies par un juge IA, avec les mêmes critères que les professeurs. Il a eu tendance à noter presque tout autour de 4, là où les enseignants pénalisaient les copies creuses sur le fond et l’originalité. Des chercheurs de New York University et d’Anthropic avaient par ailleurs montré dès 2024 qu’un modèle chargé d’évaluer des textes note mieux les siens que ceux d’autres modèles ou d’humains, à qualité jugée égale par des annotateurs humains, et qu’il sait reconnaître ses propres productions.

Le cas le plus parlant vient d’une étude Microsoft et Carnegie Mellon, que nous avions détaillée dans notre article sur la productivité de l’IA, plus rapide mais plus souvent fausse. Deux participants y avaient demandé à leurs agents de se critiquer mutuellement, ou de vérifier eux-mêmes que tout le cahier des charges était couvert. Tous deux ont atteint 100 % de complétude. Aucun n’a repéré l’erreur de conception qui invalidait le résultat. La relecture par l’IA vérifie que le document est complet et bien tenu. Elle ne vérifie pas que la question de départ était la bonne.

Reprendre la main avant la première ligne

La parade ne consiste pas à moins utiliser l’IA, ni à tout relire mot à mot. Elle consiste à déplacer l’effort humain là où le modèle ne peut pas le fournir : avant la production, et sur les fondations.

Écrire soi-même le postulat. Cinq lignes, à la main, avant de lancer quoi que ce soit : ce qu’on cherche à démontrer, les deux ou trois hypothèses dont tout dépend, ce qui ferait changer d’avis. Dans l’étude d’entrepôt, c’était le volume de commandes et l’année dont on le tirait. Le modèle construira dessus, et ces cinq lignes deviennent la grille de relecture.

Faire poser les questions avant de produire. Demander explicitement à l’assistant de lister ce qu’il ne sait pas et les choix qu’il s’apprête à faire à la place de l’utilisateur, puis y répondre. C’est la différence entre déléguer une exécution et déléguer une décision, celle que nous développions à propos des tâches à confier à un agent IA, et de celles à garder.

Relire les hypothèses, pas les onglets. Le volume est un piège : dix pages de détail bien formé ne compensent pas une prémisse bancale. Exiger que le document commence par une page qui expose ses hypothèses, et passer l’essentiel du temps de relecture sur cette page.

Ne présenter que ce qu’on sait résumer. Le test est rapide : expliquer le document en trois minutes sans l’avoir sous les yeux. Si l’auteur n’y arrive pas, le document n’est pas prêt, quelle que soit sa qualité apparente.

Ces gestes ont un coût : une heure de réflexion avant une production qui en prendrait cinq minutes. C’est précisément cette heure que l’effet waouh fait sauter, et c’est elle qui fait la valeur du document. Les modèles savent désormais produire le volume. Les questions, les arbitrages et le choix du point de départ restent le travail de celui qui signe, et c’est à ce travail-là qu’on reconnaît un document qui a été pensé.