Katarzyna Kapusta, ingénieure R&D en cybersécurité chez Thales, dirige l'équipe de Friendly hackers de l'industriel. Ce groupe travaille uniquement sur des projets de recherche sur la sécurité de l'IA dans les systèmes critiques, sujet désormais au coeur de toute l'activité de Thales. Ces hackers éthiques hébergés au sein du corAIx Lab de Thales combinent des compétences en cybersécurité, IA et des connaissances métier. Travaillant pour l'ensemble du groupe, ils explorent les IA publiques et celles développées par Thales pour Thales.

« Je suis docteur en cryptographie appliquée de Télécom Paris et ma thèse porte sur les méthodes de protection des data dans un univers multicloud », explique Katarzyna Kapusta. Dans sa thèse, elle s'est interrogée sur les possibilités de sécurisation, autres que celles consistant à laisser les providers s'en occuper. « Faut-il chiffrer toutes les data avant de les envoyer dans le cloud ? Mais que se passe-t-il si un attaquant trouve la clé de chiffrement ? Mon idée consistait à disperser les data dans différents endroits. Dans ce cas, disposer de la clé ne suffit pas. »

Des travaux sur la propriété intellectuelle des modèles d'IA

Ensuite, à ses débuts chez Thales en 2020, Katarzyna Kapusta enchaîne avec la cryptographie appliquée à l'IA et avec la protection de la propriété intellectuelle des modèles. « La gestion numérique des droits classique ne s'applique pas bien à l'IA », précise-t-elle. Il est donc possible de « voler » un modèle développé par un industriel comme Thales pour le réentraîner avec de nouvelles données. « Le modèle n'aura plus exactement les mêmes paramètres, mais ses performances resteront similaires. » Pour prévenir ce type de larcin, Katarzyna Kapusta a exploré le watermarking de modèles d'IA, technique inspirée du multimédia.

Aujourd'hui, elle et son équipe de hackers réalisent des travaux de recherche, rédigent des publications scientifiques et déposent des brevets sur la cybersécurité de l'IA, mais ils travaillent aussi directement sur des solutions avec les différentes unités de Thales. « Un article scientifique, c'est parfait, résume la chercheuse, mais parfois une solution plus simple et directement utilisable, c'est suffisant. » Son équipe intervient aussi dans des groupes de certification et de standardisation, collabore au sein de projets de recherche européens, etc. Thales participe aussi au programme français Confiance AI.

Tromper des modèles de computer vision

« Nous sommes très sollicités depuis 4 ans, affirme la chercheuse. Sur des sujets comme les modèles de vision par ordinateur de Thales pour la détection des personnes dans une zone spécifique, par exemple. » Thales a remis à ses hackers une boîte noire contenant un de ces modèles, et leur a demandé si un attaquant pouvait faire disparaître des images et ainsi éviter d'être détecté. « Nous nous sommes positionnés comme de vrais attaquants, raconte Katarzyna Kapusta. Et nous avons réussi à hacker le système, sans connaître le contenu de la boîte noire. » Avec l'IA, il se trouve que lorsqu'une attaque fonctionne sur un modèle, elle peut éventuellement marcher avec un modèle similaire.

PublicitéLe principe ? La manipulation des images de caméra qui entrent dans le modèle de détection des personnes. « On introduit des motifs de couleur, on modifie quelques pixels, par exemple, pour tromper l'IA. Nous avons utilisé des techniques très sophistiquées qui conduisent le modèle à mal interpréter l'image. » Les Friendly hackers ont d'ailleurs remporté le challenge organisé en novembre dernier par la DGA lors de la Conference on Artificial Intelligence for Defense (CAID), sur un défi très similaire pour lequel il fallait entre autres retrouver des « images d'aéronefs utilisées durant la phase d'apprentissage d'un algorithme d'IA, protégé par des techniques de désapprentissage. »

La découverte de la réalité du métier d'ingénieur IT

Pour Katarzyna Kapusta, bien avant d'arriver à la tête des Friendly Hackers de Thales, tout a commencé à l'école avec un goût prononcé des mathématiques, avant un virage vers le développement informatique et une rencontre avec la cybersécurité. « Mon père est ingénieur de recherche en électronique et informatique et m'a toujours encouragée à apprendre les mathématiques, raconte-t-elle. Au lycée, en Pologne, j'avais déjà un profil 'mathématiques et informatique', mais je n'osais pas encore m'orienter vers l'IT. » L'image du geek à capuche derrière son écran ne la tente que peu... C'est un concours d'entreprises pour la diversité, avec des équipes de développeurs mixtes, qui va finalement la décider. Elle a alors 15 ans et son équipe gagne la possibilité de visiter un datacenter. Elle découvre la réalité du métier d'ingénieur, bien différente des images véhiculées par le cinéma ou les séries. Elle a trouvé sa voie.

« Sur la technologie, il n'y a aucune différence entre hommes et femmes »

Après un premier diplôme à l'Ensimag à Grenoble, elle passe une année au CERN en 2020, à travailler en Java sur un outil interne de monitoring du réseau IT. Un projet qui lui donne le goût du développement et surtout de la cybersécurité. « J'ai aussi compris que ce que j'aimais, c'était l'innovation, la capacité à apporter ma propre brique et à faire quelque chose au-delà de l'état de l'art, ajoute Katarzyna Kapusta qui poursuivra donc dans la recherche. Et la cybersécurité est propice à l'innovation, surtout au croisement avec l'IA. »

Reste que la cybersécurité, peut-être encore plus que l'IT en général, est un monde masculin. En particulier dans l'industrie. Mais comme beaucoup de femmes, Katarzyna Kapusta ne s'en préoccupe que peu. « Dans les séminaires, je suis souvent la seule, commente-t-elle. Mais on s'habitue. C'est juste un peu gênant quand on vous le fait remarquer... Mais je vois de plus en plus de femmes arriver sur le sujet. Nous avons de plus en plus d'étudiantes candidates à des stages. Sur les sujets technologiques, il n'y a aucune différence à faire entre hommes et femmes. » La chercheuse a aussi été accompagnée par deux mentors dans le cadre d'un programme Thales, une ingénieure en cybersécurité et une responsable finance. Elles l'ont aidée à prendre confiance, y compris pour accepter la responsabilité de l'équipe de hackers.