Une histoire cocasse qui donne à réfléchir. Un tribunal civil canadien a condamné Air Canada à payer pour une erreur commise par un chatbot de service à la clientèle, soulignant la nécessité pour les entreprises de mieux former et contrôler leurs outils d'intelligence artificielle. Jake Moffatt, résident de la Colombie-Britannique, a consulté le site web d'Air Canada en novembre 2022 afin de réserver un vol pour les funérailles de sa grand-mère dans l'Ontario. Le chatbot du site lui a dit qu'il pouvait se faire rembourser une partie du billet du lendemain et du billet de retour, s'il demandait une réduction dans les 90 jours. Cette information était erronée : la politique d'Air Canada, disponible sur son site web, consiste à accorder des réductions pour décès si le client en fait la demande à l'avance. Après le refus d'Air Canada d'accorder la réduction, un tribunal canadien a ordonné à la compagnie aérienne de payer environ 600 $ en remboursement de frais de deuil et en frais de justice, soit environ la moitié de ce que le client a payé pour ses billets.

Les entreprises qui utilisent des chatbots et d'autres outils d'IA générative (GenAI) doivent investir dans des efforts de surveillance « afin d'économiser de l'argent grâce aux gains de productivité des chatbots », a expliqué Avivah Litan, analyste chez Gartner. « Sinon, ils finiront par dépenser plus en frais juridiques et en amendes qu'ils ne gagneront en gains de productivité ». Dans l'affaire Air Canada, Christopher Rivers, membre du British Columbia Civil Resolution Tribunal, s'est rangé du côté de Jake Moffatt et a rejeté l'affirmation de la compagnie aérienne selon laquelle le chatbot est « une entité juridique distincte qui est responsable de ses propres actions ». Dans sa décision du 14 février, Christopher Rivers a indiqué qu'Air Canada n'a pas été en mesure d'expliquer pourquoi les informations sur les rabais pour les personnes en deuil figurant sur son site web étaient plus fiables que celles fournies par le chatbot. « Air Canada avait un devoir de diligence envers M. Moffatt », a-t-il ajouté. « En règle générale, la norme de diligence applicable exige qu'une entreprise prenne des précautions raisonnables pour s'assurer que ses représentations sont exactes et non trompeuses ».

Des chatbots GenAI pas encore totalement prêts

Trois analystes spécialisés dans le marché de l'IA sont d'accord pour dire que les entreprises qui utilisent des assistants et d'autres outils d'IA doivent vérifier leurs résultats. Environ 30 % des réponses de la GenAI sont fictives, ce que l'on appelle une hallucination a déclaré Avivah Litan. « Les entreprises qui utilisent des chatbots doivent utiliser des garde-fous qui mettent en évidence les anomalies de sortie telles que les hallucinations, les informations inexactes et illégales - et mettre en place des opérations d'examen humain qui enquêtent et bloquent ou approuvent ces sorties avant qu'elles ne soient diffusées », poursuit-elle. « Ils doivent s'assurer que les résultats, en particulier dans les applications destinées aux clients, sont exacts et qu'ils n'orientent pas les clients ou l'organisation qui gère le chatbot sur la mauvaise voie ». Les assistants GenAI ne sont pas prêts pour les interactions avec le service client si les entreprises qui les utilisent n'investissent pas dans des contrôles de fiabilité, de sécurité et de sûreté, a-t-elle fait valoir. Les entreprises qui utilisent des chatbots devraient mettre en place de nouvelles opérations pour examiner manuellement les réponses imprévues mises en évidence par les outils de détection des anomalies.

Les cas où les chatbots fournissent des informations erronées soulignent la nécessité pour les entreprises de se concentrer sur une IA responsable, a déclaré Hayley Sutherland, responsable de recherche pour la découverte de connaissances et l'IA conversationnelle chez IDC. Les entreprises doivent investir dans les tests et la formation des outils d'IA qu'elles utilisent, a-t-elle recommandé. « Indépendamment du format ou de l'interface utilisateur [de l'IA], les entreprises sont généralement tenues responsables des informations qu'elles fournissent aux clients, il est donc sage de procéder avec prudence », fait-elle savoir. Hayley Sutherland recommande aux entreprises qui envisagent d'utiliser des chatbots et d'autres outils d'IA de le faire d'abord pour des cas internes moins sensibles, comme l'assistance aux employés, plutôt que de se lancer directement dans le service à la clientèle.

Une confiance encore aveugle

Les hallucinations de l'IA peuvent être plausibles, même si elles fournissent des informations erronées, a-t-elle fait remarquer. Pour lutter contre ce problème, « les systèmes d'IA générative devraient inclure un humain dans la boucle et d'autres mécanismes pour lier, fonder et valider les résultats du chatbot pendant la phase de formation, ainsi que lors des tests continus », indique Hayley Sutherland. Un autre problème est que les chatbots actuels ne peuvent gérer que quelques tâches simples, a déclaré quant à lui David Truog, vice-président et analyste principal chez Forrester. « Malheureusement, les entreprises qui déploient des chatbots sont souvent trop confiantes dans l'efficacité de ces derniers. Elles sous-estiment la complexité de la création d'un bot efficace ; la chose qu'elles négligent le plus souvent, et de manière désastreuse, est l'expertise indispensable en matière de conception centrée sur l'humain et de conception de la conversation. Les entreprises ne doivent pas s'attendre à ce que les assistants bénéficient d'un statut juridique spécial ». Et d'ajouter : « Les chatbots sont des logiciels, au même titre que le reste du site web ou de l'application d'une entreprise. Et toute organisation qui déploie un logiciel pour interagir avec ses clients en son nom est responsable de ce que fait ce logiciel. Il est courant que les clients anthropomorphisent quelque peu les chatbots puisqu'ils utilisent des langages humains, mais ce n'est pas une excuse pour que les entreprises fassent de même au point de se laver les mains de toute responsabilité lorsque leur chatbot se comporte mal ».