L’humain dans la boucle n’est pas une case à cocher : comment préserver réellement la responsabilité professionnelle

Un clic d’approbation ne constitue pas un contrôle. Dans les rapports médicaux, les expertises ou les dossiers administratifs, le point critique ne se situe souvent pas à la fin du processus, mais bien plus tôt : dans la sélection des éléments qui entreront dans le projet, dans la pondération des différentes informations, dans la mise en relation des constatations, du raisonnement et des conclusions. Lorsqu’une IA présente un texte achevé, elle ne s’est pas contentée de le formuler. Elle a déjà trié, condensé, omis et lissé les informations. Une personne qui ne vérifie le résultat qu’après coup n’examine plus la matière première du travail professionnel, mais une vision de cette matière déjà façonnée.

C’est l’angle mort de nombreux concepts d’humain dans la boucle. Ils partent du principe que la responsabilité humaine est préservée dès lors qu’un médecin, un expert ou un gestionnaire de dossier donne son accord à la fin. Cette idée est commode, car elle exige peu sur le plan technique : un bouton, un nom au bas du rapport, peut-être une mention dans le journal. Sur le plan professionnel, elle est insuffisante. La responsabilité ne peut pas être garantie en plaçant l’humain à la dernière étape d’un processus automatisé.

Quiconque est censé exercer un contrôle doit voir sur quoi porte sa décision. Cette personne doit pouvoir identifier les données utilisées, les hypothèses intégrées au projet, les incertitudes existantes et les endroits où l’IA ne se contente pas de générer du langage, mais impose une structure professionnelle. Dans le cas contraire, un étrange glissement se produit : la machine façonne le rapport, l’humain le légitime.

Le texte achevé arrive souvent déjà trop tard

De nombreuses applications d’IA partent d’un objectif apparemment anodin : produire un rapport lisible à partir d’informations existantes. Cette approche est utile en pratique, car les processus professionnels dans la médecine, l’administration et l’expertise pâtissent réellement de la charge documentaire. Personne ne gagne à ce que les médecins ou les gestionnaires de dossiers réécrivent systématiquement les mêmes passages, recopient des tableaux ou regroupent manuellement des informations dispersées.

Le problème apparaît lorsque l’assistance se transforme insensiblement en décision préalable. Un projet de rapport n’est pas seulement une surface linguistique ; il ordonne le monde. Il décide de ce qui est mentionné en premier, de ce qui semble pertinent, de ce qui disparaît comme aspect secondaire, de l’enchaînement causal qui paraît plausible et de l’alternative qui n’apparaît plus du tout. Plus le texte est bien rédigé, moins cette préstructuration est visible.

C’est pourquoi une étape d’approbation en aval ne suffit pas. Lorsqu’une personne reçoit un rapport cohérent et soigné sur le plan linguistique, elle ne vérifie généralement plus chaque inférence comme si elle avait elle-même élaboré le rapport à partir des données primaires. Il ne s’agit pas d’une défaillance morale, mais d’une description réaliste du travail professionnel sous pression temporelle. Le texte achevé crée sa propre plausibilité. Il rend plus difficile la véritable remise en question des sélections qui l’ont précédé.

L’humain dans la boucle ne doit donc pas intervenir uniquement au niveau du résultat final. Il doit être présent dès que les données acquièrent une signification professionnelle.

La responsabilité juridique ne s’arrête pas à la surface

Sur le plan juridique également, la distinction entre approbation formelle et contrôle véritable est essentielle. Lorsqu’un système d’IA est utilisé dans un processus sensible, il ne suffit pas de faire valoir après coup qu’un humain a confirmé le résultat. Ce qui importe, c’est de savoir si cette confirmation a eu lieu dans des conditions permettant réellement un examen qualifié.

Les informations utilisées étaient-elles clairement identifiables ? Était-il possible de corriger ou de rejeter les suggestions du système ? Les modifications ont-elles été journalisées ? Les limites du système étaient-elles clairement définies ? A-t-on empêché qu’une formulation générative soit présentée comme un fait professionnellement vérifié ? Ces questions ne sont pas accessoires. Elles déterminent si la responsabilité peut être attribuée de manière pertinente.

Sans une architecture de processus rigoureuse, la dilution bien connue des responsabilités apparaît : l’exploitant renvoie au logiciel, le fournisseur renvoie à l’utilisateur, et l’utilisateur renvoie à la suggestion de l’IA. Au bout du compte, quelqu’un est formellement responsable, mais le cheminement réel de la décision est à peine reconstructible. C’est précisément pourquoi la journalisation, les rôles, les approbations et les limites techniques de la finalité ne sont pas des questions bureaucratiques secondaires, mais des composantes d’une conception responsable du système.

Le contrôle exige l’accès aux éléments constitutifs

Un véritable contrôle humain exige que le processus ne soit pas conçu comme une boîte noire. La personne professionnellement responsable doit pouvoir consulter non seulement le rapport final, mais aussi les éléments à partir desquels il a été créé : données d’entrée structurées, saisies en texte libre reprises, scores, diagnostics sélectionnés, sources, messages du système, incertitudes et modifications manuelles. Ce n’est qu’ainsi qu’elle peut déterminer si le rapport est professionnellement solide.

Cette exigence diffère de la formule « l’IA écrit, l’humain vérifie ». Il serait plus juste de dire : le système prépare les informations de façon à ce que l’humain puisse réellement décider aux moments déterminants. Certains contenus peuvent être formulés de manière générative. D’autres ne devraient provenir que de champs vérifiés. D’autres éléments encore doivent être activement confirmés, rejetés ou corrigés avant d’entrer dans un rapport. La question centrale n’est pas de savoir si l’IA est utilisée, mais à quel moment et avec quel degré de liberté.

Cette distinction est particulièrement déterminante dans les processus médicaux et d’expertise. Le lissage linguistique n’est pas un diagnostic, et la synthèse d’informations existantes n’est pas une évaluation professionnelle. Un système robuste doit refléter ces différences non seulement dans la formation du personnel, mais aussi dans le processus lui-même.

L’exemple de ReportWriter

Dans ReportWriter de DeepMed, le processus ne commence pas par une fenêtre de chat vide ni par la demande de générer le rapport le plus convaincant possible à partir de notes non structurées. Le point de départ est un masque de saisie structuré, élaboré sur le plan professionnel avec le client. Il reflète le processus concerné d’anamnèse, d’évaluation ou de consultation : avec des éléments de questionnaire, des saisies du médecin, des champs de sélection, des scores, des données de suivi et, le cas échéant, des champs de texte libre supplémentaires pour les notes.

Cette structure ne constitue pas seulement une interface utilisateur, mais aussi un modèle professionnel du processus de travail. Avec le client, il est défini quelles informations doivent être recueillies, quelles saisies sont facultatives, quels champs dépendent les uns des autres et quels contenus peuvent ensuite être intégrés au rapport. Une partie de l’assurance qualité est ainsi déplacée en amont : elle ne repose plus uniquement sur la lecture ultérieure du texte achevé, mais intervient dès la collecte et la structuration des informations.

L’IA ne reçoit alors pas simplement la tâche de « rédiger un rapport ». Elle reçoit des données d’entrée structurées et une règle précise indiquant comment créer une section déterminée du rapport à partir de ces données. Elle peut, par exemple, condenser une anamnèse sur le plan linguistique, regrouper les informations de différents champs ou donner à une section le ton professionnel souhaité. Le périmètre de l’IA est ainsi restreint : elle ne travaille pas librement sur l’ensemble d’un dossier, mais dans le cadre d’une étape définie du rapport, à partir de données déterminées et avec une tâche rédactionnelle clairement décrite.

Pour les contenus professionnels particulièrement sensibles, ce périmètre est encore davantage limité, voire totalement exclu. Les diagnostics, les médicaments ou d’autres informations médicales centrales ne sont ni inventés, ni décidés, ni librement interprétés par l’IA. Ils sont sélectionnés ou saisis par le médecin, puis repris dans le rapport de manière déterministe, c’est-à-dire selon des règles et de façon prévisible. Lorsqu’un contenu ne doit pas faire l’objet d’une interprétation variable, il n’est pas non plus généré de manière générative.

Cette différence est essentielle. Un système qui déduit un diagnostic à partir de notes et l’inscrit dans un rapport achevé crée une structure de responsabilité différente de celle d’un système dans lequel le médecin sélectionne le diagnostic et le logiciel le reprend correctement à l’endroit prévu. Dans le premier cas, décision professionnelle et formulation linguistique se confondent. Dans le second, il reste visible quelle partie relève d’une décision médicale, quelle partie a été saisie sous forme structurée et quelle partie a bénéficié d’une assistance linguistique.

Les champs de texte libre ne changent rien à ce principe, pour autant qu’ils soient correctement positionnés. Les notes peuvent être importantes, car le travail professionnel ne se laisse pas entièrement enfermer dans des champs de sélection. Elles ne doivent toutefois pas ramener l’ensemble du processus à une génération de texte incontrôlée. L’essentiel est de distinguer clairement les informations provenant de champs structurés, celles qui ont été résumées à partir de notes et les éléments qui doivent être activement confirmés.

C’est précisément à ces endroits que l’on voit si l’humain dans la boucle est pris au sérieux. Non pas dans l’affirmation selon laquelle l’humain « garde le contrôle » à la fin, mais dans l’architecture concrète du processus : quelles informations sont recueillies sous forme structurée ? Quelles décisions doivent être prises par le médecin ? Quels contenus l’IA peut-elle formuler ? Quels contenus sont repris de manière déterministe ? Quelles étapes sont traçables ? Et où s’arrête le périmètre autorisé du système ?

ReportWriter utilise donc l’IA non comme un substitut à l’évaluation professionnelle, mais comme un outil au sein d’un processus conçu par des professionnels. L’IA ne rédige pas à partir de rien. Elle traite des informations vérifiées ou délibérément saisies selon des règles définies. Cette approche est moins spectaculaire qu’un chatbot qui produit un rapport complet d’une simple pression sur un bouton. Pour les processus professionnels sensibles, elle est plus robuste.

La responsabilité professionnelle est une question de processus

La responsabilité professionnelle n’est pas la propriété abstraite d’une personne qui signe un document à la fin. Elle naît de l’interaction entre le rôle, l’information, la capacité d’intervention et la documentation. Quiconque doit assumer une responsabilité a besoin d’un environnement de travail lui permettant d’identifier et d’influencer les points décisifs.

Cela concerne d’abord les rôles. Il doit être clair qui saisit les données, qui confirme les informations professionnelles, qui retient les suggestions générées par le système et qui approuve le rapport. Mais cela concerne aussi les limites du système. Une IA qui signale d’éventuelles lacunes n’a pas la même fonction qu’une IA qui suggère des conclusions professionnelles. Un logiciel qui génère des blocs de texte à partir de données d’entrée vérifiées ne s’évalue pas de la même manière qu’un chatbot qui formule une recommandation à partir d’un dossier.

La documentation est encore plus importante. Dans les processus professionnels sensibles, il doit rester possible de retracer ultérieurement quelles informations provenaient de données structurées, lesquelles ont été extraites de textes libres, quel passage a été créé de manière générative et quelle modification a été apportée par l’humain. Sans cette distinction, la responsabilité devient floue précisément là où elle prend ensuite toute son importance : lors de demandes de précisions, de réclamations, de procédures en responsabilité, d’audits ou de corrections professionnelles.

Un bon processus avec un humain dans la boucle protège donc non seulement contre les erreurs, mais aussi contre l’incertitude rétrospective quant à la manière dont une erreur est survenue.

Pourquoi les chatbots ne suffisent pas

Une fenêtre de chat peut être utile. Elle peut expliquer, résumer, reformuler et organiser des idées. Cela suffit pour de nombreuses tâches. Pour les processus réglementés ou sensibles sur le plan professionnel, toutefois, c’est souvent insuffisant, car le chat ne contrôle pas de manière fiable la structure du processus de travail.

Dans un chat, saisie, analyse, projet et décision se confondent. L’utilisateur pose une question, le système répond, l’utilisateur copie, corrige et raccourcit. Cela peut bien fonctionner dans certains cas, mais reste difficile à auditer. Sur quelle base le résultat repose-t-il réellement ? Quelles informations ont été omises ? Quel passage relève de l’interprétation du système et lequel constitue une constatation établie ? Pourquoi une suggestion a-t-elle été retenue et une autre écartée ? De telles questions ne peuvent être reconstituées qu’au prix d’efforts importants dans un dialogue libre.

Les processus professionnels exigent donc davantage qu’un modèle performant. Ils nécessitent des données d’entrée structurées, des étapes intermédiaires définies, des domaines de responsabilité séparés, des limites techniques et des résultats traçables. La valeur ne réside pas uniquement dans le modèle de langage, mais dans l’architecture qui l’entoure.

C’est également pourquoi une plateforme telle que DeepMed ne s’arrête pas à la génération de texte. L’analyse de documents, les contrôles de plausibilité, les masques structurés, les sections de rapports déterministes, les synthèses assistées par l’IA et la journalisation ne sont pas des fonctions accessoires. Elles sont indispensables pour que l’IA appliquée aux processus professionnels ne se contente pas d’impressionner, mais fournisse des résultats robustes.

Une bonne IA sait se limiter

Dans de nombreux débats, l’IA est encore évaluée à l’aune de sa capacité à remplacer l’humain. Pour les processus professionnels sensibles, ce critère est erroné. Un système n’est pas bon parce qu’il paraît aussi autonome que possible, mais parce qu’il impose une répartition adéquate des tâches.

L’IA peut alléger la charge de travail. Elle peut préstructurer les informations, signaler les contradictions, préparer des projets de textes et attirer l’attention sur des lacunes. Mais elle ne doit pas déplacer insensiblement la responsabilité professionnelle. Lorsqu’un système donne l’impression de n’avoir fait que formuler, alors qu’il a en réalité pondéré et décidé, il devient dangereux.

Les meilleurs systèmes ne seront donc pas nécessairement ceux qui rédigent de la manière la plus spectaculaire. Ce seront ceux qui délimiteront clairement leur propre périmètre : au moyen de champs structurés, de reprises déterministes, de confirmations actives, de journaux, de règles d’escalade et d’une séparation nette entre indication, projet et décision.

L’humain dans la boucle n’est donc pas une interaction utilisateur située à la fin d’un processus automatisé. Il s’agit d’une décision d’architecture. Quiconque souhaite préserver la responsabilité professionnelle doit construire le processus de telle sorte que l’humain ne se contente pas de signer, mais puisse réellement décider.

Pour la médecine, l’administration, l’expertise et la conformité, c’est la ligne décisive. Dans ces domaines, l’IA ne sera pas évaluée selon sa capacité à écrire de la manière la plus humaine possible. Elle le sera selon sa capacité à faciliter le travail professionnel sans brouiller les responsabilités. C’est précisément à cette limite que se décide si l’IA reste un outil — ou devient l’instance invisible de la prise de décision professionnelle.

Vous souhaitez voir à quoi ressemble concrètement l’humain dans la boucle ? Réservez une démo et nous vous présenterons le processus de ReportWriter.

Note de la rédaction : cet article a été préparé en se référant aux sources actuelles sur la gouvernance de l’IA, la responsabilité et le contrôle humain, notamment le règlement européen sur l’intelligence artificielle, le NIST AI Risk Management Framework et des normes internationales telles que ISO/IEC 42001 et ISO/IEC 23894. L’expérience pratique acquise dans le cadre des projets DeepMed portant sur la création contrôlée de rapports, le contrôle de plausibilité et les processus avec humain dans la boucle a également été prise en compte.