Originaire de Palo Alto en Californie, Navan (ex-TripActions) s'est tourné en février 2023 vers ChatGPT d'OpenAI et les outils d'aide au codage de GitHub Copilot pour écrire, tester et corriger le code. Avec, à la clé, une meilleure efficacité opérationnelle et une réduction des frais généraux. Les outils d'IA générative ont également été utilisés pour créer une expérience conversationnelle pour l'assistant virtuel client de l'entreprise, Ava. Ce chatbot pour les voyages et les dépenses, apporte aux clients des réponses à leurs questions et une expérience de réservation conversationnelle. Il peut également fournir des données aux voyageurs d'affaires, telles que les dépenses de voyage de l'entreprise, le volume et les détails granulaires des émissions de carbone.
Grâce à l'IA générative, bon nombre des 2 500 employés de Navan ont pu éliminer les tâches redondantes et créer du code beaucoup plus rapidement que s'ils l'avaient créé de toute pièce. Cependant, les outils d'IA générative ne sont pas exempts de risques en matière de sécurité et de réglementation. Par exemple, 11 % des données que les employés collent dans ChatGPT sont confidentielles, selon un rapport du fournisseur de cybersécurité CyberHaven. Navan dispose d'une licence pour ChatGPT, mais l'entreprise a proposé à ses employés d'utiliser leurs propres instances publiques de la technologie, ce qui peut entraîner des fuites de données en dehors des murs de l'entreprise. Celle-ci a donc décidé de limiter les fuites et autres menaces en utilisant des outils de surveillance et en appliquant un ensemble de directives claires. Un outil SaaS, par exemple, signale à un employé qu'il est sur le point d'enfreindre la politique de l'entreprise, ce qui a permis de sensibiliser davantage les travailleurs à la sécurité, selon Prabhath Karanth, RSSI de Navan. Des moyens ont été mis en place pour protéger l'entreprise contre les abus et les menaces intentionnelles ou non liées à l'IA générative comme l'explique ainsi le responsable.
Lucas Mearian : Pour quelles raisons votre entreprise utilise-t-elle ChatGPT ?
Prabhath Karanth : L'IA existe depuis longtemps, mais son adoption dans les entreprises pour résoudre des problèmes spécifiques est passée cette année à un tout autre niveau. Navan a été l'un des premiers à l'adopter. Nous avons été l'une des premières entreprises du secteur des voyages et des dépenses à réaliser que cette technologie allait être disruptive. Nous l'avons adoptée très tôt dans les flux de travail de nos produits... Et aussi dans nos opérations internes.
Workflows produits, opérations internes... Les chatbots utilisés aident-ils les employés à répondre aux questions et les clients aussi ?
Il existe quelques applications du côté des produits. Nous avons un assistant de workload appelé Ava, qui est un chatbot alimenté par cette technologie. Notre produit offre une multitude de fonctionnalités. Par exemple, un tableau de bord permet à un administrateur de consulter des informations sur les voyages et les dépenses de son entreprise. Et en interne, pour alimenter nos opérations, nous avons cherché à savoir comment nous pouvions accélérer le développement de logiciels. Même du point de vue de la sécurité, j'étudie de très près tous les outils qui me permettent de tirer parti de cette technologie. Cela s'applique à l'ensemble de l'entreprise.
Certains développeurs qui ont utilisé la technologie d'IA générative pensent qu'elle est efficace. Ils disent que le code qu'elle génère est parfois absurde. Que vous disent vos développeurs sur l'utilisation de l'IA pour écrire du code ?
Cela n'a pas été le cas ici. Nous avons eu une très bonne adoption par la communauté des développeurs, en particulier dans deux domaines. Le premier est l'efficacité opérationnelle ; les développeurs n'ont plus besoin d'écrire du code à partir de zéro, du moins pour les bibliothèques standard et les outils de développement. Nous constatons de très bons résultats. Nos codeurs sont en mesure d'obtenir un certain pourcentage de ce dont ils ont besoin, puis de construire à partir de là. Dans certains cas, nous utilisons des bibliothèques de code open source - c'est le cas de tous les développeurs - et donc, pour l'obtenir et s'en servir pour écrire du code, c'est un autre domaine où cette technologie est utile. Je pense qu'il y a certaines façons de l'adopter. On ne peut pas l'adopter aveuglément. On ne peut pas l'adopter dans tous les contextes, or le contexte est essentiel.
Utilisez-vous d'autres outils que ChatGPT ?
Pas vraiment dans le contexte de l'entreprise. Du côté des codeurs, nous utilisons également Github Copilot dans une certaine mesure. Mais dans le contexte non-développeur, c'est surtout OpenAI.
Comment classeriez-vous l'IA en termes de menace potentielle pour la sécurité de votre entreprise ?
Je ne dirais pas qu'il s'agit de la menace la plus grave, mais plutôt d'un nouveau vecteur de menace qu'il convient d'atténuer au moyen d'une stratégie globale. Il s'agit de gérer les risques. L'atténuation n'est pas seulement une question de technologie. La technologie et les outils sont un aspect, mais il faut également mettre en place une gouvernance et des politiques sur la manière dont vous utilisez cette technologie en interne et la produisez. Il faut évaluer les risques liés aux personnes, aux processus et à la technologie, puis les atténuer. Une fois que cette politique d'atténuation est en place, le risque est réduit. Si vous ne faites pas tout cela, alors oui, l'IA est le vecteur le plus risqué.
Quels types de problèmes avez-vous rencontré avec des employés utilisant ChatGPT ? Les avez-vous surpris en train de copier et coller des informations sensibles de l'entreprise dans des fenêtres d'invite ?
Chez Navan, nous essayons toujours d'avoir une longueur d'avance ; c'est tout simplement la nature de notre activité. Lorsque l'entreprise a décidé d'adopter cette technologie, l'équipe de sécurité a dû procéder à une évaluation globale des risques... Je me suis donc assis avec mon équipe de direction pour le faire. La structure de mon équipe de direction est la suivante : un responsable de la sécurité des plateformes de produits, qui se trouve du côté de l'ingénierie ; ensuite, nous avons SecOps, qui est une combinaison de sécurité d'entreprise, DLP - détection et réponse ; puis il y a une fonction de gouvernance, de risque, de conformité et de confiance, qui est responsable de la gestion des risques, de la conformité et de tout le reste. Nous nous sommes donc assis et avons procédé à une évaluation des risques pour chaque domaine d'application de cette technologie. Nous avons mis en place certains contrôles, tels que la prévention de la perte de données, afin de nous assurer que, même involontairement, il n'y a pas d'exploitation de cette technologie pour extraire des données, qu'il s'agisse d'IP ou d'informations personnelles identifiables des clients. Je dirais donc que nous avons gardé une longueur d'avance.
Avez-vous encore surpris des employés en train d'essayer de coller intentionnellement des données sensibles dans ChatGPT ?
La méthode DLP que nous appliquons ici est basée sur le contexte. Nous ne faisons pas de blocage général. Nous détectons toujours les choses et nous les traitons comme un incident. Il peut s'agir d'un risque d'initié ou d'un risque externe, et nous impliquons alors nos homologues des services juridiques et des ressources humaines. Cela fait partie intégrante de la gestion d'une équipe de sécurité. Nous sommes là pour identifier les menaces et mettre en place des protections contre elles.
Avez-vous été surpris par le nombre d'employés qui collent les données de l'entreprise dans les invites du ChatGPT ?
Pas vraiment. Nous nous y attendions avec cette technologie. L'entreprise s'efforce de faire connaître cette technologie aux développeurs et à d'autres personnes. Nous n'avons donc pas été surpris. Nous nous y attendions.
Craignez-vous que l'IA générative entraîne une violation des droits d'auteur lorsque vous l'utilisez pour la création de contenu ?
Il s'agit d'un domaine de risques qui doit être abordé. Vous avez besoin d'une certaine expertise juridique pour ce domaine. Nos conseillers juridiques internes et notre équipe de juristes se sont penchés sur la question, et nous avons activé tous nos programmes juridiques. Nous avons essayé de gérer le risque dans ce domaine. Navan a mis l'accent sur la communication entre les équipes chargées de la protection de la vie privée, de la sécurité et des questions juridiques et ses équipes chargées des produits et du contenu sur les nouvelles lignes directrices et restrictions au fur et à mesure qu'elles apparaissent; et les employés ont reçu une formation supplémentaire sur ces questions.
Êtes-vous au courant du problème lié à la création de logiciels malveillants par ChatGPT, intentionnellement ou non ? Avez-vous dû y remédier ?
Je suis un professionnel de la sécurité et je surveille donc de très près tout ce qui se passe du côté offensif. Il y a toutes sortes d'applications. Il y a des logiciels malveillants, il y a de l'ingénierie sociale qui se produit grâce à l'IA générative. Je pense que la défense doit constamment rattraper son retard. J'en suis tout à fait conscient.
Comment surveiller la présence de logiciels malveillants si un employé utilise ChatGPT pour créer du code ? Disposez-vous d'outils logiciels ou avez-vous besoin d'une deuxième paire d'yeux sur tous les codes nouvellement créés ?
Il y a deux possibilités. La première consiste à s'assurer que le code que nous envoyons à la production est sécurisé. L'autre est le risque d'initié - s'assurer que le code généré ne quitte pas l'environnement de l'entreprise Navan. Pour le premier volet, nous disposons d'une intégration continue, d'un déploiement continu - CICD - d'un pipeline de co-déploiement automatisé, qui est entièrement sécurisé. Tout code envoyé à la production fait l'objet d'un code statique au point d'intégration, avant que les développeurs ne le fusionnent avec une branche. Nous disposons également d'une analyse de la composition du logiciel pour tout code tiers injecté dans l'environnement. En outre, le CICD durcit l'ensemble du pipeline, de la fusion à la branche jusqu'au déploiement. En plus de tout cela, nous avons également des tests d'API en cours d'exécution et des tests d'API en cours de construction. Nous disposons également d'une équipe de sécurité des produits qui s'occupe de la modélisation des menaces et de la révision de la conception de toutes les fonctionnalités critiques qui sont livrées à la production. La deuxième partie - le risque d'initié - est liée à notre stratégie DLP, qui consiste à détecter les données et à y répondre. Nous ne procédons pas à un blocage général, mais à un blocage basé sur le contexte, sur de nombreuses zones de contexte. Nous avons obtenu des détections relativement précises et nous avons pu protéger l'environnement informatique de Navan.
Pouvez-vous nous parler d'outils particuliers que vous avez utilisés pour renforcer votre profil de sécurité contre les menaces liées à l'IA ?
Cyberhaven, sans aucun doute. J'ai utilisé des technologies DLP traditionnelles par le passé et le rapport bruit/signal peut parfois être très élevé. Ce que Cyberhaven nous permet de faire, c'est de mettre beaucoup de contexte autour de la surveillance des mouvements de données dans toute l'entreprise - tout ce qui quitte un point d'extrémité. Cela inclut les points d'accès au SaaS, les points d'accès au stockage, autant de contextes. Cela a considérablement amélioré notre protection et notre surveillance des mouvements de données et des risques liés aux initiés. Cette technologie nous a énormément aidés dans le contexte OpenAI.
En ce qui concerne Cyberhaven, un rapport récent a montré qu'environ un employé sur 20 colle des données confidentielles de l'entreprise dans le seul chatGPT, sans parler des autres outils d'IA internes. Lorsque vous avez surpris des employés en train de le faire, quels types de données étaient typiquement copiées et collées qui seraient considérées comme sensibles ?
Pour être honnête, dans le contexte OpenAI, je n'ai rien identifié de significatif. Quand je dis important, je fais référence à des informations personnelles identifiables sur les clients ou sur les produits. Bien sûr, il y a eu plusieurs autres cas de risques d'initiés pour lesquels nous avons dû procéder à un triage et faire intervenir le service juridique pour mener toutes les enquêtes. En ce qui concerne OpenAI en particulier, j'ai vu ici et là des cas où nous avons bloqué l'accès en fonction du contexte, mais je ne me souviens pas d'une fuite massive de données.
Pensez-vous que les outils d'IA générique à usage général finiront par être supplantés par des outils internes plus petits, spécifiques à un domaine, qui peuvent être mieux utilisés pour des usages spécifiques et plus facilement sécurisés ?
Il y a beaucoup de cela en ce moment - des modèles plus petits. Si vous regardez comment OpenAI positionne sa technologie, l'entreprise veut être une plateforme sur laquelle ces modèles plus petits ou plus grands peuvent être construits. J'ai donc l'impression qu'un grand nombre de ces petits modèles seront créés en raison des ressources informatiques que les grands modèles consomment. Le calcul deviendra un défi, mais je ne pense pas qu'OpenAI sera dépassé. Il s'agit d'une plateforme qui vous offre une certaine flexibilité quant à la manière dont vous souhaitez développer et à la taille de la plateforme que vous souhaitez utiliser. C'est ainsi que je vois les choses se poursuivre.
Pourquoi les entreprises devraient-elles croire qu'OpenAI ou d'autres fournisseurs SaaS d'IA n'utiliseront pas les données à des fins inconnues, telles que l'entraînement de leurs propres grands modèles de langage ?
Nous avons un accord d'entreprise avec eux, et nous avons choisi de nous en retirer. Nous avons pris de l'avance d'un point de vue juridique. C'est la norme pour tout fournisseur de services cloud.
Quelles mesures conseilleriez-vous à d'autres RSSI de prendre pour sécuriser leurs entreprises contre les risques potentiels posés par la technologie IA générative ?
Commencez par l'approche des personnes, des processus et des technologies. Effectuer une évaluation de l'analyse des risques du point de vue des personnes, des processus et de la technologie. Faites une évaluation globale et holistique des risques. Ce que je veux dire par là, c'est qu'il faut examiner votre adoption globale : allez-vous l'utiliser dans les workflows de vos produits ? Si c'est le cas, il faut que le directeur technique et l'équipe d'ingénieurs soient des acteurs clés de cette évaluation des risques. Il faut bien sûr que le service juridique soit impliqué. Vous devez impliquer vos homologues chargés de la sécurité et de la protection de la vie privée. Il existe également plusieurs cadres déjà proposés pour effectuer ces évaluations des risques. Le NIST a publié un cadre d'évaluation des risques liés à l'adoption d'un tel système, qui aborde pratiquement tous les risques à prendre en compte. Vous pouvez ensuite déterminer celui qui s'applique à votre environnement. Il faut ensuite mettre en place un processus de surveillance continue de ces contrôles, afin de couvrir le tout de bout en bout.