Les systèmes d'intelligence artificielle fondés sur le scoring sont désormais expressément interdits par l'AI Act qui vient d'être adopté par le Parlement européen le 13 mars 2024. Au sens du texte européen, le scoring est l'évaluation ou la classification de personnes physiques ou de groupes d'individus fondée sur leur comportement social ou leurs caractéristiques personnelles, causant un traitement préjudiciable ou défavorable à ces personnes (AI Act, article 5.1, c).

Ce dispositif vient confirmer la position exprimée par la Cour de Justice de l'Union européenne (CJUE) qui, par deux arrêts importants du 7 décembre 2023, a jugé illégal le credit scoring, dès lors qu'il doit être considéré comme « une décision individuelle automatisée » interdite par le RGPD lorsqu'il joue un rôle déterminant pour, comme dans le cas d'espèce, l'octroi de crédits.

Dans la première affaire (C-634/21), la question portait sur la fourniture par une société à ses partenaires d'informations relatives à la solvabilité d'individus, établies sur la base d'un pronostic sur la probabilité du comportement futur du requérant (« score »). C'est dans ce contexte que ce dernier s'est vu refuser l'octroi d'un prêt par le tiers.

Une pratique courante dans les établissements bancaires

Dans la seconde affaire (C-26/22), deux requérants demandaient à cette même société l'effacement des données les concernant car ils bénéficiaient de décisions de libération de reliquat de leurs dettes, ce que la société a refusé. En conservant de telles données pendant trois ans, bien au-delà de la durée de conservation du registre public d'insolvabilité (six mois), elle pénalisait les personnes concernées qui faisaient l'objet d'une évaluation négative de solvabilité.

Le scoring, souvent utilisé par les établissements bancaires, consiste à affecter un score à un client ou un prospect, résultant d'une probabilité de défaillance. Il permet d'identifier les bons clients et ceux qui ont un profil garantissant un remboursement sans difficulté ou au contraire, de repérer et d'exclure les clients à risques. Il est également utilisé pour des opérations de prospection commerciale.

Conformément à l'article 4 du RGPD, il s'agit d'une « forme de traitement automatisé de données à caractère personnel consistant à utiliser ces données à caractère personnel pour évaluer certains aspects personnels relatifs à une personne physique, notamment pour analyser ou prédire des éléments concernant le rendement au travail, la situation économique, la santé, les préférences personnelles, les intérêts, la fiabilité, le comportement, la localisation ou les déplacements de cette personne physique. »

Le droit de ne pas faire l'objet d'une décision individuelle automatisée

Les juges européens ont considéré qu'une telle pratique était interdite en application de l'article 22 du RGPD qui consacre le droit de chaque individu à s'opposer à une décision fondée sur un traitement automatisé dès lors qu'il entraîne « des effets juridiques » à son égard ou « l'affecte de manière significative ».

En effet, le scoring reposant sur des données standards, il ne saurait refléter la situation réelle d'une personne ; à titre d'exemple, une demande de prêt pourrait être refusée à un candidat sur la base de ses données standards, alors même qu'il bénéficie de sources de revenus complémentaires qui lui permettraient de rembourser le prêt demandé.

C'est pour prévenir de tels risques que le RGPD (art. 22 al 2) a prévu que chaque personne a le droit de ne pas faire l'objet d'une décision individuelle automatisée, sauf si elle y consent, si c'est nécessaire à la conclusion ou à l'exécution d'un contrat ou si c'est autorisé par le droit de l'Union ou le droit de l'État membre auquel le responsable de traitement est soumis.

Dans ce contexte, sans en préciser la teneur, la CJUE rappelle que des garanties appropriées doivent être mises en place afin d'assurer un traitement équitable et transparent par le biais de procédures mathématiques ou statistiques adéquates aux fins de profilage, et de mesures techniques et organisationnelles appropriées réduisant le risque d'erreur.

Ces mesures devraient inclure à minima la possibilité pour la personne concernée d'obtenir une intervention humaine, une information spécifique, notamment sur la méthode de calcul et les facteurs, ainsi que des procédures et des mesures pour prévenir les erreurs ou les inexactitudes.

Par ailleurs, lorsque ses données ont fait l'objet d'un traitement illicite, la personne concernée a le droit d'obtenir du responsable du traitement leur effacement, dans les meilleurs délais (RGPD, article 17).

Au vu de ce qui précède, nul doute que certaines pratiques vont devoir changer, notamment dans le secteur bancaire et dans celui des assurances, lorsque le scoring joue un rôle déterminant pour identifier les bons clients ou, au contraire, pour repérer et exclure les clients « à risques ».