Un assistant IA peut faciliter une tâche bien définie, mais la productivité doit être mesurée avec les personnes qui effectuent le travail. Un essai utile ne part pas du principe que la génération de texte équivaut à un gain de temps. Il tient compte de la configuration, de la révision, des corrections et de la maintenance, et vérifie si le travail final respecte toujours les normes de qualité de l’équipe.
Choisissez une tâche et établissez une référence
Commencez par une tâche dont les données d’entrée, le résultat attendu et la personne chargée de la révision sont clairement définis. Par exemple, un assistant peut préparer une première réponse à une demande d’assistance en s’appuyant sur l’article actuel du centre d’aide et sur le message du client. Il doit citer la source utilisée, signaler les informations manquantes et laisser l’envoi à un membre du personnel.
Avant d’introduire l’assistant, analysez un échantillon du travail habituel. Enregistrez le temps écoulé, le temps de traitement actif, les corrections, les transmissions à un niveau supérieur et la qualité finale. Utilisez des cas comparables et un nombre suffisant d’observations pour faire apparaître les variations habituelles. Demandez au personnel quelles parties sont fastidieuses, lesquelles nécessitent du discernement et ce qui pourrait rendre l’outil peu sûr ou inutile.
Mesurez le gain de temps net et la qualité finale
Pendant le projet pilote, tenez compte de la configuration des prompts ou des modèles, de la préparation des sources, de la révision, des corrections, du réentraînement ou de la maintenance des règles, ainsi que du temps consacré à la gestion des défaillances. Comparez les réponses finales approuvées, et non les brouillons bruts. Les contrôles de qualité peuvent porter sur l’exactitude factuelle, le respect des politiques, l’exhaustivité, le ton et la transmission correcte du dossier à un niveau supérieur.
La version de novembre 2023 du document de travail 31161 du NBER a étudié 5 179 agents du service clientèle et fait état d’une augmentation moyenne de 14 % du nombre de problèmes résolus par heure, avec des effets variant selon l’expérience des travailleurs. Il s’agit d’un résultat obtenu dans un contexte particulier d’assistance, et non d’un déploiement d’Intyb ni d’une prévision de rendement généralisé à différents postes ou secteurs réglementés.
Rendez la participation et la reprise en main réellement applicables
Informez le personnel de ce qui est mesuré et évitez de transformer l’essai en une surveillance individuelle dissimulée. Recueillez le consentement ou suivez la procédure appropriée sur le lieu de travail, sollicitez des retours et permettez de rejeter facilement un brouillon sans pénalité. La formation doit expliquer comment vérifier les sources, reconnaître les incertitudes et transmettre les dossiers qui nécessitent du discernement.
Désignez un responsable des mises à jour du contenu et de la maintenance. Si les politiques approuvées changent, les connaissances de l’assistant doivent également être actualisées. Définissez un critère d’arrêt en cas d’erreurs factuelles répétées ou de mauvaises transmissions à un niveau supérieur. Un outil qui réduit le temps de rédaction, mais augmente le nombre de plaintes ou le travail de correction, n’a pas amélioré la tâche.
Pour les mécanismes du flux de travail, tels que les autorisations limitées et le transfert à une personne, consultez la liste de contrôle pour des agents responsables.