Cela fait longtemps que l’on supporte les travers des mauvais logiciels. Quiconque s'est insurgé contre le système de réservation de voyages de son entreprise ou a essayé de déchiffrer l'interface de l'outil interne mis en place pour enregistrer les commentaires des employés sait de quoi je parle. Malgré ces problèmes, nous continuons à utiliser (et, soyons honnêtes, à écrire) de mauvais logiciels. Par contre, notre seuil de tolérance à l’égard des grands modèles de langage, de ChatGPT et d'autres aspects de l’IA générative (GenAI), semble beaucoup moins élevé. Comme le fait remarquer le développeur Simon Willison, « si, en temps normal, les gens se plaignent de la difficulté à utiliser un logiciel, dans le cas de l'IA générative, ceux qui ont du mal à obtenir de bons résultats se disent qu’elle est inutile et y renoncent totalement ». Au point que l’on doit se demander si ce que l’on attend de la GenAI n’est pas irréaliste.

Des attentes démesurées

La réponse est clairement oui. Mais qui faut-il blâmer ? À peu près tout le monde. En bien ou en mal, nous en sommes tous venus à trop attendre de l'IA, autant les personnes qui craignent que les machines pilotées par l'IA ne prennent nos emplois, les vendeurs qui tentent de redynamiser leurs produits fatigués en les saupoudrant d'IA, les médias à la recherche de sujets intéressants, etc. Dans le cas de la GenAI, ce contexte a conduit ses partisans à négliger ou à atténuer certains de ses défauts évidents. Bill Gates, par exemple, a une vision incroyablement ambitieuse de l'avenir de la GenAI, qui semble éloignée de la réalité actuelle, même la plus optimiste. Un tel battage publicitaire n'aide personne et rend plus difficile la résolution de certains des problèmes fondamentaux de la GenAI. Pour commencer, comme l'affirme Amelia Wattenberger, le chat est un moyen étrange et peu intuitif de découvrir les intelligences de la GenAI. Comme elle le fait remarquer, des outils comme ChatGPT « accueillent » les utilisateurs avec une zone de texte, sans réelle indication sur ce qu'il faut taper dans la zone et, essentiellement, sans visibilité sur la raison pour laquelle il répond d'une certaine manière. « Bien sûr, les utilisateurs peuvent apprendre au fil du temps quelles invites fonctionnent bien et lesquelles ne fonctionnent pas, mais c'est à chaque utilisateur qu'il incombe d'apprendre ce qui fonctionne », poursuit-elle.

Pour aggraver ce problème, les chercheurs Zamfirescu-Pereira, Wong, Hartmann et Yang affirment que « même pour les experts en traitement du langage naturel, l'ingénierie des invites nécessite beaucoup d’essais et d’erreurs, et qu’ils passent u temps à expérimenter et à évaluer de manière itérative les effets de diverses stratégies d'invites sur des paires d'entrées-sorties concrètes avant de les évaluer de manière plus systématique sur de grands ensembles de données ». Tout le monde essaye de comprendre comment créer des entrées qui produisent de bons résultats, et tout le monde échoue la plupart du temps. Le fait que l'industrie ait évolué très rapidement n'arrange rien, comme le souligne Benj Edwards : « Quelles que soient les techniques que l’on développe pour bien les utiliser, les invites sont obsolètes au bout de trois ou quatre mois. Certes, des fournisseurs comme OpenAI pourraient intégrer davantage de garde-fous dans leurs produits, afin de faciliter la productivité des non-experts et de supprimer certains de ces problèmes d'interface utilisateur. Mais les difficultés initiales rencontrées par la GenAI ne justifient pas de conclure que le battage médiatique est injustifié et que la technologie ne fonctionne pas ».

Réalité pratique

La friction inhérente à ChatGPT et à d'autres outils de GenAI est réelle, comme l’explique Sebastian Bensusan dans un blog sur le sujet, mais elle peut aussi être résolue. Et une partie de la « réponse » se résume à l'expérience de l'utilisateur. Oui, les outils peuvent et doivent intégrer plus d'intelligence dans l'interface, mais il est également vrai que l'un des principaux moyens d'obtenir plus de valeur de la GenAI est de continuer à pratiquer jusqu'à ce que l’on comprenne où se trouvent ses arêtes vives. Peu de gens ont plus d'expérience en la matière que M. Willison, qui suggère que « pour tirer le meilleur parti des grands modèles de langage - et pour éviter les nombreux pièges qu'ils tendent à l'utilisateur imprudent - il faut passer du temps avec eux et s'efforcer de construire un modèle mental précis de leur fonctionnement, de ce dont ils sont capables et des domaines dans lesquels ils sont le plus susceptibles de se tromper ». Oui, les outils doivent être améliorés, mais cela n’exonère pas les utilisateurs de devenir aussi plus intelligents et plus avisés. À ceux qui ont tendance à rejeter la GenAI parce qu'elle est difficile, je recommande la patience et la pratique, comme le fait M. Willison : « la GenAI peut être imparfaite, mentir et être sujette à toutes sortes de problèmes… mais elle peut aussi déboucher sur d’énormes gains de productivité ».