Dans une enquête réalisée fin mai par Malwarebytes dans le cadre de laquelle le fournisseur californien de solutions de cybersécurité a recueilli du 29 au 31 mai 2023 un total de 1 449 réponses, 81 % des personnes interrogées (lecteurs de ses newsletters) se disent préoccupées par les risques de sécurité posés par ChatGPT et l'IA générative. Par ailleurs, 51 % d'entre elles se demandent si les outils d'IA peuvent améliorer la sécurité sur Internet et 63 % se méfient des informations fournies par ChatGPT. En outre, 52 % des personnes interrogées souhaitent une pause dans les développements de ChatGPT, le temps de la mise en place de réglementations. Seulement 7 % s’accordent pour dire que ChatGPT et d'autres outils d'IA peuvent améliorer la sécurité sur Internet.

En mars, un grand nombre de personnalités du monde de la technologie ont signé une lettre demandant à tous les laboratoires d'IA d'interrompre immédiatement, pendant six mois au moins, l’entrainement de systèmes d'IA plus puissants que GPT-4, le temps « de développer et de mettre en œuvre conjointement un ensemble de protocoles de sécurité communs pour la conception et le développement d'IA avancées, qui soient rigoureusement contrôlés et supervisés par des experts externes indépendants ». Le rapport cite les « risques profonds » posés par les « systèmes d'IA dotés d'une intelligence pouvant entrer en compétition avec l’intelligence humaine ».

Des informations issues des LLM pas toujours fiables

Les risques de sécurité potentiels relatifs à l'utilisation de l'IA générative par les entreprises sont bien documentés, tout comme l’impact connu des vulnérabilités sur les applications de grands modèles de langage (Large Language Model, LLM) qu'elles utilisent. Par ailleurs, les acteurs malveillants peuvent utiliser l'IA générative/les LLM pour renforcer leurs attaques. Malgré tout, certains cas d’usage de la technologie peuvent améliorer la cybersécurité, la détection et la réponse aux menaces, une tendance prédominante sur le marché de la cybersécurité, les fournisseurs s’appuyant sur l'IA générative et les LLM pour rendre leurs produits meilleurs, plus rapides et plus concis.

Dans l'enquête de Malwarebytes, seuls 12 % des répondants étaient d'accord avec l'affirmation « Les informations produites par ChatGPT sont exactes », et 55 % « pas d’accord », ce qui représente un écart important, selon le fournisseur. En outre, seulement 10 % des personnes interrogées étaient d'accord avec l'affirmation « J'ai confiance dans les informations produites par ChatGPT ». L'une des principales préoccupations concernant les données produites par les plateformes d'IA générative concerne le risque d'« hallucination » auquel exposent les modèles d'apprentissage machine.

Un risque de renforcer la crédibilité d'un faux positif

En effet, l’IA générative peut créer des URL, des références et même des bibliothèques de code et des fonctions qui n’ont aucune existence réelle. Ce qui devient un problème sérieux pour les entreprises si leur contenu est fortement utilisé pour prendre des décisions, en particulier celles relatives à la détection et à la réponse aux menaces. « Les LLM sont connus pour inventer des choses », a déclaré Rik Turner, analyste principal pour la cybersécurité chez Omdia. « Si l’IA dit n’importe quoi et qu’un ou une analyste peut facilement l'identifier comme tel, il ou elle pourra l'annuler et aider à mieux entrainer l'algorithme. Mais, que se passe-t-il si l'hallucination est très plausible et ressemble à la réalité ? En d'autres termes, le LLM pourrait-il renforcer la crédibilité d'un faux positif, avec des conséquences potentiellement désastreuses si, sur la base de ces données, l'analyste décide de mettre un système hors service ou de bloquer le compte d'un client pendant plusieurs heures ? », a-t-il demandé.