La vague ChatGPT n'a pas fini de déferler. Cette fois, des chercheurs se sont intéressés aux capacités de l'outil d'OpenAI en matière de correction automatique des bugs logiciels. Dans une étude, ces derniers ont pu montrer que ChatGPT fait preuve de bonnes performances dans ce domaine par rapport à d'autres méthodes deep learning comme CoCoNut et Codex (l'IA derrière Copilot de GitHub). Mieux encore : le bot réussit a bien distancer les programmes correctifs standards.
Le papier de recherche indique notamment que ChatGPT est en mesure de corriger des bugs près d'une fois sur deux, en résolvant 19 problèmes sur 40, soit autant que CoCoNut mais un peu moins que Codex (21). En revanche, face aux méthodes standard de correction de bugs, l'outil d'OpenAI se montre bien supérieure, ces dernières ne détectant que 7 problèmes sur 40. Utiliser l'option de dialogue de ChatGPT et donner plus d'informations sur le bogue dans une demande de suivi augmente même encore plus les performances, avec un succès global atteignant 77,5 %. « Cela montre que l'apport humain peut être beaucoup aidé par un programme de réparation automatisé, et ChatGPT se positionne pour le faire ».
Un niveau d'acceptation d'erreur que l'humain doit considérer
Ces résultats suffisent-ils à faire du bot d'OpenAI un outil de correction de bugs immanquable ? Pas si sûr : « Malgré ses excellentes performances, la question se pose de savoir si le coût mental requis pour vérifier les réponses ChatGPT l'emporte sur les avantages apportés par l'outil », prévient la recherche. « Peut-être que l'incorporation d'approches automatisées pour fournir à ChatGPT des indices ainsi qu'une vérification automatisée de ses réponses, par exemple, grâce à des tests automatisés, ferait de ChatGPT un outil viable qui aiderait les développeurs dans leurs tâches quotidiennes ». Qui a parlé de redonner la patate chaude à l'humain ?
En attendant de répondre à cette question, les rédactions du Monde Informatique et Enjeux vous proposent une série de vidéos sur ChatGPT dont une première avec Alexei Grinbaum, directeur de recherche au CEA et président du Comité opérationnel pilote d'éthique du numérique (CNPEM), pour découvrir les dessous de son moteur.