L'IA n'est jamais meilleure que les données sur lesquelles elle est entraînée. Cela signifie qu'une sélection de données biaisée et les préférences des équipes en charge de l'entraînement des modèles peuvent se propager dans l'IA et fausser les résultats obtenus.

Aux États-Unis, les autorités utilisent désormais de nouvelles lois pour faire respecter les cas de discrimination dus à l'IA. Et le Consumer Financial Protection Bureau enquête actuellement sur les discriminations en matière de logement dues à des biais dans les algorithmes de prêt ou d'évaluation des biens immobiliers. « Nos lois sur les droits civils ne prévoient pas d'exception pour les nouvelles technologies et l'intelligence artificielle qui se livreraient à une discrimination illégale », a récemment déclaré son directeur Rohit Chopra, sur la chaîne CNBC.

De nombreux DSI et autres cadres supérieurs sont conscients du problème, selon une enquête internationale commandée par le fournisseur de logiciels suédois Progress. Dans cette enquête, 65 % des cadres interrogés, utilisateurs de données pour prendre des décisions, ont ainsi déclaré qu'ils pensaient qu'il y avait certainement ou probablement des données discriminatoires dans leurs opérations actuelles. Et 78 % des décideurs pensent que ces biais vont générer de plus en plus de difficultés à mesure que leur entreprise utilise plus largement l'IA et le Machine Learning.

« Le risque sera toujours là »

Elisabeth Stjernstoft, DSI du géant suédois de l'énergie Ellevio, reconnaît qu'il existe un risque à utiliser des données biaisées qui ne sont pas représentatives du groupe de clients ou de la population étudiée. « Cela peut, bien sûr, affecter la capacité de l'IA à faire des prédictions précises », dit-elle. « Nous devons examiner les données sur lesquelles le modèle est entraîné, mais aussi la façon dont les algorithmes sont conçus et la sélection des fonctions. En fin de compte, le risque existera toujours, nous devons donc surveiller les modèles et les corriger si nécessaire ».

Cela dit, la DSI ne se dit pas préoccupée par les solutions d'IA qu'Ellevio utilise aujourd'hui. « Nous utilisons l'IA principalement pour écrire du code plus rapidement et mieux, donc je ne suis pas inquiète à ce sujet. Une fois le code développé, il est également revu. L'apprentissage automatique est principalement utilisé pour des applications techniques, afin de faire des analyses prédictives. » Toutefois, Elisabeth Stjernstoft a bien rencontré quelques difficultés lorsqu'il s'est agi d'obtenir des données d'entraînement pertinentes pour prédire la charge énergétique lorsque le froid est le plus intense. « C'est un défi parce que ces situations de grand froid sont si rares qu'il n'y a tout simplement pas beaucoup de données disponibles pour l'entraînement », reconnaît-elle.

Entamer la réflexion dès maintenant

Göran Kördel, DSI de l'entreprise suédoise de métallurgie Boliden, reconnaît qu'il est essentiel de comprendre les risques liés aux biais dans l'IA. « C'est probablement un sujet auquel tous les DSI réfléchissent actuellement, et je pense qu'il est important de le faire, même si nous ne savons pas à quoi ressemblera l'IA dans quelques années ou comment elle sera utilisée à ce moment-là », déclare-t-il. « Nous devons réfléchir aux conséquences de cette évolution ».

Mais, pour Boliden, il n'y a pas de risques majeurs à court terme, selon son DSI. « Nous utilisons principalement l'analyse d'images dans le cadre de projets pilotes avec des caméras qui examinent des objets », explique Göran Kördel. « Je m'inquiète davantage des données biaisées lorsqu'il s'agit d'applications liées aux humains et à l'IA générative ; de l'IA qui produit des informations orientées vers le consommateur et utilise des données sur les consommateurs ». Le DSI estime également que l'IA risque d'affaiblir les capacités créatives et d'empêcher les organisations de sortir des sentiers battus.

Démarrer avec des données biaisées et contrôler

Johan Clausén, DSI de la compagnie d'assurance Skandia, souligne l'importance d'une évaluation des besoins et des risques lors de l'introduction de nouvelles solutions. Mais, pour l'instant, comme ses homologues, il ne décèle aucun risque à l'utilisation de l'IA dans son entreprise. « Nous n'utilisons l'IA que de manière très limitée, c'est pourquoi je ne considère pas les données biaisées comme un défi à l'heure actuelle », tranche-t-il. « Les sources de données externes dont nous disposons sont fiables. »

Mais pour se prémunir contre toute éventualité à l'avenir, Johan Clausén estime important de réfléchir à l'endroit où les données sécurisées devraient se trouver et aux applications pour lesquelles il pourrait être acceptable de démarrer avec des données biaisées, en mettant en place des contrôles encadrant ce modèle.

Tous les DSI interrogés s'accordent à dire qu'un manque de compétences dans le domaine de l'IA aurait une incidence sur les risques. Le DSI de Boliden souligne en particulier qu'il y a toujours un manque de compétences lorsqu'une nouvelle technologie arrive, ce qui constitue un obstacle pour toutes les entreprises. En même temps, il pense que les entreprises ont plus de temps que beaucoup ne le pensent pour s'adapter : "avec tout le respect que je dois à la technologie en développement, la question est de savoir à quelle vitesse nous l'appliquerons. Je pense qu'il faudra plus de temps que nous ne le pensons actuellement pour le faire à grande échelle. »