Une semaine après son lancement, l’IA générative d’Amazon nommée Q souffrirait de quelques problèmes. En effet, un article paru dans la newsletter The Platformer de Casey Newton laisse entendre que la solution est victime d’hallucinations et de fuites de données confidentielles, selon le retour des salariés de la firme l’ayant testé. Cependant, selon un porte-parole d'Amazon, Q n'a pas divulgué d'informations confidentielles. « Certains employés échangent des commentaires par le biais de canaux internes et de systèmes de tickets, ce qui est une pratique courante chez Amazon », ajoute-t-il.  « Aucun problème de sécurité n'a été identifié à la suite de ces commentaires. Nous apprécions tous les retours que nous avons déjà reçus et nous continuerons à améliorer Q au fur et à mesure qu'il passera du statut de produit preview à celui GA (general availability) ».

« Malgré la prétention d'Amazon à faire de son assistant le compagnon de travail de millions de personnes, Q n'est peut-être pas prêt pour une utilisation en entreprise », estiment les analystes qui suivent le secteur. « Si l’IA hallucine, il est impossible de l’utiliser pour prendre des décisions dans un cadre professionnel », a déclaré Pareekh Jain, CEO d'EIIRTrend & Pareekh Consulting. « Ça passe pour un usage personnel ou pour obtenir des informations, mais pas pour des processus de prise de décision », a ajouté M. Jain.

Des tests supplémentaires s’imposent

Amazon doit relever d'importants défis en matière de tests avant de pouvoir commercialiser son assistant à base d’IA générative. Selon le consultant, AWS doit mener des essais approfondis en interne pour s'assurer que le produit est prêt. « Il faut faire plus de tests avec les employés en interne », a déclaré Pareekh Jain. « De toute évidence, c'est actuellement le cas, et pour l’instant, aucune personne extérieure à l’entreprise n'a signalé ces problèmes. Déjà, ils doivent déterminer s’ils sont liés aux données ou à l’algorithme ». Conçu comme un outil polyvalent pour les entreprises, Q s'appuie sur l'expertise en matière de données et de développement acquise par AWS au cours de ces dix-sept dernières années. Compte tenu de l'orientation du secteur, l'enjeu est de taille pour Amazon avec cette offre d'IA.

« Si les hallucinations n'entament pas le potentiel de l'IA générative pour les cas d’usage grand public et professionnels, une formation adéquate est essentielle », a estimé pour sa part Sharath Srinivasamurthy, vice-président associé d’IDC. « La formation des modèles sur des données de meilleure qualité, l'augmentation des prompts (guider les utilisateurs avec des invites prédéfinies que le modèle peut comprendre facilement), le perfectionnement continu des modèles sur des données et des politiques spécifiques à entreprise ou à l'industrie, l’ajout d'une couche de contrôle humain en cas de réponse suspecte, sont quelques-unes des mesures à prendre pour faire le meilleur usage de cette technologie émergente », a déclaré M. Srinivasamurthy.

L’urgence d’une régulation ?

Les cas d'hallucinations soulèvent des inquiétudes quant à la nécessité d'une régulation et à la sévérité des règles qui pourraient s'appliquer à un moment ou à un autre. Cependant, Sanchit Vir Gogia, analyste en chef et directeur général de Greyhound Research, pense que toute réglementation pourrait être contre-productive. « La régulation peut ralentir l'échange et l'utilisation des données », estime-t-il.  Et d’ajouter, « pour l'instant, moins ce secteur est réglementé, mieux c'est. Cela permet une utilisation plus facile et plus fluide des données. Par l'exemple, s'il y avait eu des garde-fous stricts concernant la capture des données par GPT d'OpenAI, le projet n'aurait pas décollé ».

Le consultant a également suggéré que la mise en place de limites externes n'était peut-être pas réalisable, mais que les entreprises elles-mêmes pouvaient faire davantage d'efforts. « Il peut y avoir des réglementations, mais il faut surtout mettre l'accent sur l'autorégulation », explique-t-il. « L'accent devrait être mis sur l'IA responsable, dont on peut expliquer la logique aux clients, au lieu de créer des systèmes « boîte noire ». Reste que, à mon avis, il existe un seuil au-delà duquel la responsabilité concerne plus la façon dont les entreprises perçoivent et mettent en œuvre ces mesures dans une logique de sécurité ».