Fournisseur de solutions de détection et de réponse gérées (MDR), eSentire a annoncé la disponibilité de LLM Gateway, un framework open source destiné à aider les équipes de sécurité à améliorer leur gouvernance et leur surveillance de l'IA générative et des grands modèles de langage (LLM). Développé à l’origine à des fins internes, le prototype de la passerelle est désormais librement accessible sur GitHub. Il s’agit du premier projet d'eSentire Labs qui aide les entreprises à étendre leur utilisation des outils d'IA générative de la manière la plus sécurisée possible, a déclaré l’entreprise.

Ce lancement intervient alors que les équipes de sécurité et d'informatique sont de plus en plus chargées de veiller à ce que les données critiques de leur organisation ne soient pas exposées lorsque leurs employés utilisent des LLM d’IA générative tels que ChatGPT. Les responsables de la sécurité ont donc de plus en plus besoin de mettre en œuvre des politiques de sécurité qui non seulement adoptent et soutiennent l’adoption de l’IA générative par les entreprises, mais qui traitent efficacement les risques sans étouffer l’innovation.

Une vague d'adoptions sans contrôles de sécurité internes

« Les entreprises se précipitent pour injecter des LLM dans tout, généralement sans aucun contrôle de sécurité interne ou avec des contrôles minimaux », explique Alexander Feick, vice-président d'eSentire Labs. « Étant donné la valeur élevée que les LLM peuvent créer, les entreprises demandent à aller de l'avant, même avec un risque élevé. L'une des meilleures utilisations des LLM est de résumer l'information pour l'utilisateur. Cependant, l'utilisation des LLM peut également exacerber les risques d'exposition involontaire de données sensibles », ajoute-t-il. « En outre, l'arène des LLM et la surface des menaces sont encore mal comprises, de sorte que les défenseurs ont du mal à savoir à quoi se préparer ».

D’un point de vue conceptuel, une passerelle LLM est un endroit où sont centralisées toutes les interactions avec les modèles LLM, détaille Alexander Feick. Les passerelles LLM suivent et permettent d'assurer les principes de la sécurité en créant la capacité d'injecter des contrôles appropriés dans toutes les fonctions basées sur le LLM, indépendamment de l'endroit où elle se trouve dans le flux de l'application, ajoute-t-il. Ces passerelles constituent un moyen fiable de s'assurer que les données entrées et sorties de l'outil LLM sont exemptes de données propriétaires de l'entreprise. « Une fois que toutes vos interactions passent par la passerelle, vous obtenez une surveillance, mais vous créez également un point central pour appliquer des contrôles de sécurité. En déployant une passerelle, chaque fois que des données entrent ou sortent d'un système LLM, elle a la possibilité d'inspecter, de modifier ou de réacheminer ces interactions », indique Alexander Feick.

Une couche de protection entre les données de l'entreprise et les outils LLM

Le framework de la passerelle LLM d'eSentire crée une couche de protection entre les données de l'entreprise et les applications d'IA ouvertes, y compris ChatGPT, selon l’entreprise. Les utilisateurs enregistrent ainsi les différents types d'interactions LLM qui se produisent dans la passerelle à des fins de sécurité et le framework fournit des recommandations de base sur la façon de visualiser et de suivre l’utilisation du LLM dans les plug-ins initiaux d'eSentire. Il offre également aux praticiens de la sécurité et aux équipes informatiques la possibilité d'appliquer leurs propres contrôles, tels que les politiques d'entreprise, les règles d'utilisation, les protocoles de sécurité et les messages-guides. Il doit être considéré comme un exemple pratique et simplifié de l'utilisation d'une passerelle pour sécuriser, enregistrer et créer des rapports de gestion sur les interactions avec ChatGPT et d'autres LLM ou applications, dans le cadre d'un voyage vers la construction ou l'achat d'une solution plus mature, selon Alexander Feick.

« Sans passerelle LLM, chaque application utilisant des LLM doit être évaluée individuellement, et les données d'enregistrement de chacune d'entre elles peuvent être différentes », déclare-t-il. Cela entraîne une augmentation exponentielle du travail et rend les équipes plus lentes à réagir aux nouvelles cybermenaces. « La mise en œuvre de la passerelle est avant tout un concept d'architecture orienté vers l'avant qui permet aux défenseurs de la sécurité de se positionner de manière à pouvoir réagir rapidement aux menaces de sécurité émergentes et aux exigences de conformité qui ne sont pas encore totalement comprises ».