L'assistant de programmation Copilot basé sur l'IA de GitHub a-t-il trouvé sa vitesse de croisière ? Les derniers résultats d'une étude menée par la plateforme de dépôt de codes montrent en tout cas que les développeurs acceptant le plus de suggestions de cet outil rapportent des gains de productivité les plus élevés. A noter que cette enquête a été combinée à un sondage portant sur la productivité ressentie des utilisateurs et sur l’analyse de leur utilisation de ce produit. Au 14 juillet, le référentiel a déclaré avoir interrogé plus de 2 000 utilisateurs de Copilot, son assistant qui suggère des lignes de code à l'aide d'un modèle d'IA formé sur des milliards de lignes de code open source.

Les utilisateurs de ce produit ayant fait état de gains de productivité « énormes » sont ceux qui ont jugé acceptables près de 30 % de ses suggestions. À l'autre extrémité du spectre, les utilisateurs ayant déclaré des gains de productivité « modestes » n'ont trouvé acceptables qu'environ 23 % des suggestions de Copilot. Les utilisateurs ayant déclaré des gains de productivité « moyens » et « élevés » ont respectivement accepté 27 % et 28 % environ des suggestions proposées.

Des suggestions de code pas systématiquement vérifiées

GitHub a également constaté que les développeurs ne se préoccupaient pas de vérifier chaque suggestion, à partir du moment où cette solution leur proposait un point de départ approprié. La plateforme fait remarquer que l’objectif de « Copilot n'est pas de construire lui-même des logiciels, mais de proposer des suggestions utiles qui permettent aux développeurs de maintenir plus facilement le flux ». L’assistant suggère des éléments de code, mais laisse aux développeurs le soin de concevoir et de construire le produit fini.

Les conclusions de GitHub ont fait l’objet d’un article de recherche universitaire intitulé « Productivity Assessment of Neural Code Completion » et d'autres études sur l’usage de Copilot sont prévues. Accessible depuis GitHub, cet assistant est proposé depuis le mois dernier en disponibilité générale. L'outil a suscité quelques critiques et surtout une volée de bois vert de la FSF (Free Software Foundation), qui s'est interrogée sur l'équité, la légitimité et la légalité de l’utilisation par Copilot du code source sous licence libre.