Avec l'arrivée de l'IA générative dans les entreprises, les ingénieurs spécialisés dans les invites sont devenus des profils très recherchés. Mais, forcément, il fallait aussi que quelqu'un se demande si leur rôle pouvait être automatisé, ou du moins facilité, par l'IA. C’est ce qu’ont fait les chercheurs Rick Battle et Teja Gollapudi de VMware, qui se sont intéressés à la rédaction d’invites pour un grand modèle de langage (LLM).

Leur étude a révélé que, pour résoudre des problèmes mathématiques, une autre IA obtenait de meilleurs résultats qu'un humain. Leur recherche visait à déterminer si les messages de « pensée positive » générés par l'homme, comme « Ce sera amusant ! » ou « Respirez profondément et réfléchissez », produisaient de meilleures réponses. Ils ont obtenu des résultats mitigés en fonction du LLM utilisé.

Un quasi sans faute

Cependant, « dans presque tous les cas », l'utilisation d’invites optimisées par l'IA « a systématiquement égalé ou dépassé l'efficacité de nos messages de « pensée positive » générés manuellement », ont écrit les experts. Leur conclusion : Il est facile d'amener un LLM à trouver de nouvelles réponses en le nourrissant de différents messages. Il est plus difficile de produire des réponses toujours excellentes à l'aide d'invites générées par l'homme. « Améliorer les performances, en ajustant l'invite manuellement, est laborieux et coûteux sur le plan du traitement quand on utilise des processus scientifiques pour évaluer chaque changement ». Une étude réalisée en 2023 par Chengrun Yang de Google DeepMind et d'autres chercheurs, citée par Battle et Gollapudi, a abouti à une conclusion similaire.

Selon l'étude de Chengrun Yang, les invites optimisées par l'IA peuvent être spécifiques à un modèle d'IA et à une tâche, tandis que des prompts humains peuvent produire des performances « radicalement différentes ». Leur recherche, ainsi que celle de Yang, « met en évidence la capacité supérieure » des IA à optimiser leurs propres requêtes. « S'engager dans le processus itératif d’ajustement des invites et de suivi de la progression des scores peut s’avérer agréable », ont encore écrit les deux experts de VMware. « Cependant, cette approche s'avère très peu efficace en termes de temps, en particulier quand il s'agit d'évaluer systématiquement toutes les modifications d'un point de vue scientifique », ont-ils poursuivi. « Il n'est probablement pas surprenant que les invites de l'IA donnent les meilleurs résultats, même si le concept de « meilleur » peut être subjectif », a déclaré Daniel Freeman, consultant principal et expert en IA chez Scotwork International, une société internationale de formation et de compétences en matière de négociation. « Nous nous penchons déjà sur les biais inhérents aux modèles d'IA, de sorte que la « meilleure » invite est peut-être celle qui produit des résultats inattendus pour l'utilisateur », a-t-il déclaré. Un article récent de Business Insider laissait entendre que l'IA pourrait supplanter le travail, très bien rémunéré, d’ingénieur en prompt, et M. Freeman a fait état de préoccupations similaires à l'heure où les chercheurs et les développeurs d'IA explorent les limites de l'IA.

Considérations éthiques

« Quand on commence à demander à l'IA de créer ses propres invites, la question se pose de savoir si l’on n’est pas en train de privilégier par inadvertance la réduction des coûts au détriment de considérations éthiques plus larges ? Est-ce que l’on veut vraiment se passer de l'implication humaine ? Des études récentes suggèrent la possibilité de retirer les humains de l'IA et de la formation, mais c’est selon moi une « voie précaire », a-t-il ajouté. « Nous comptons sur l’intervention humaine pour guider le développement de cette technologie émergente de manière raisonnable. Un encadrement de la technologie par l’homme est nécessaire si l’on veut éviter que les robots conversationnels ne donnent des informations inexactes, réduire le plagiat dans les universités et résoudre les dilemmes ethniques dans l'art généré par l'IA, entre autres choses », a fait remarquer M. Freeman.

Dans le cadre de son travail à Scotwork, le dirigeant a constaté que l'IA intervenait de plus en plus dans les processus de formation à la négociation. « Il est prévisible que l'IA continuera d'étendre son rôle dans les futures négociations commerciales et au-delà, mais trouver le bon équilibre entre l'IA et les capacités humaines sera primordial pour réussir son intégration et faire en sorte que le talent de négociation reste un art », a-t-il déclaré.