Dans les plans de R&D des cybercriminels, l'IA générative arrive en tête des priorités. Capable de générer du texte, elle peut s’avérer une arme redoutable pour élaborer des campagnes sophistiquées de phishing ciblant les entreprises. Slashnext, éditeur de sécurité, a découvert sur les forums underground un outil à base d’IA générative nommé WormGPT.

« Cet outil se présente comme une alternative clandestine aux modèles GPT, conçue spécifiquement pour les activités malveillantes », a déclaré le chercheur en sécurité Daniel Kelley. Tout en ajoutant : « Les cybercriminels peuvent utiliser cette technologie pour automatiser la création de faux courriels très convaincants, personnalisés en fonction du destinataire, augmentant ainsi les chances de réussite de l'attaque ». WormGPT est un module d'IA basé sur le modèle de langage GPTJ, qui a été développé en 2021. Il est doté d'une série de fonctionnalités, notamment la prise en charge d'un nombre illimité de caractères, la conservation de la mémoire des chats et des capacités de formatage de code.

WormGPT réalise des courriels pertinents comme cet exemple à destination d'un comptable. (Crédit Photo : Slashnext)

Des prompts spécialisés pour forcer les IA génératives à coopérer

Toujours dans leurs recherches, les équipes de Slashnext ont observé une tendance sur les forums de partage de « jailbreak » pour les IA génératives, en particulier ChatGPT et Bard. Il s’agit de prompts spécialisés pour forcer les agents conversationnels à générer des résultats pouvant impliquer la divulgation d'informations sensibles, la production de contenus inappropriés, voire l'exécution de codes nuisibles.

Plusieurs prompts spécialisés sont disponibles sur les forums. (Crédit Photo : Slashnext)

Face à cette montée en puissance du côté obscur, les éditeurs d’IA générative prennent des mesures pour éviter l’utilisation abusive des LLM (grand modèle de langage). Mais, tous les acteurs ne sont pas au même niveau comme le souligne CheckPoint dans un récent rapport, « les restrictions anti-abus de Bard dans le domaine de la cybersécurité sont nettement inférieures à celles de ChatGPT. Par conséquence, il est beaucoup plus facile de générer du contenu malveillant en se servant des capacités de Bard ».