ChatGPT, l'agent conversationnel d'OpenAI basé sur GPT-3.5, est sorti le 30 novembre 2022 et a accumulé un million d'utilisateurs en cinq jours. En comparaison, il a fallu deux ans à Twitter pour atteindre un million d'utilisateurs. Facebook a pris dix mois, Dropbox sept, Spotify cinq, Instagram six semaines. Pokemon Go dix heures : alors ne sortez pas les bouteilles de champagne, mais cinq jours, c'est quand même assez impressionnant pour un outil web ne disposant d'aucune reconnaissance de nom intégrée. Il y a tellement de bonnes raisons de s'interroger à propos du ChatGPT d'OpenAI en ce moment : il écrit par exemple de meilleurs devoirs que l'étudiant moyen du secondaire ou du collège. Il peut aussi écrire et déboguer du code. « Cela permet aux personnes n'ayant aucune connaissance en code et en développement d'imiter un développeur », fait savoir Sergey Shykevich, responsable du groupe Threat Intelligence chez Check Point Software Technologies. Basé en Israël, celui-ci surveille les discussions sur le dark web. Et il a déjà trouvé des preuves que des acteurs de la menace, y compris certains sans expérience de développement, utilisent ChatGPT pour créer des scripts malveillants. Des articles sur Habr.com, un blog technologique russe, ont ainsi commencé à apparaître le 5 décembre 2022, expliquant comment utiliser ChatGPT pour la programmation. Sur 2Chan, la réponse russe à 4Chan, des échanges sur la manière de contourner le blocage géographique d'OpenAI ont eu lieu le 7 décembre dernier.

Certains utilisateurs emploient l'IA de manière non maligne, par exemple pour créer des images artistiques ou des livres électroniques pour... les vendre en ligne. ChatGPT peut aussi expliquer la physique quantique, écrire de la poésie, créer un plan de repas personnalisé et obtenir un peu plus que la moyenne (1020) au test de connaissances SAT. Et plus les gens l'utilise, plus il devient pertinent. Avec une prochaine version améliorée attendue cette année, les concurrents se lancent déjà dans la partie. Par exemple, You.com a déjà son propre clone ChatGPT, qui, contrairement à lui, accède à Internet et peut répondre aux questions sur l'actualité. Microsoft, qui a déjà investi 1 Md$ dans OpenAI, prévoit d'injecter 10 Md$ supplémentaires et intégrer ChatGPT à son moteur de recherche Bing en mars et un peu plus tard dans sa suite Office. Quant à Google, c'est le branle-bas de combat avec un « code rouge » émis, signifiant une urgence absolue à réagir.

Comment ChatGPT peut servir à du phishing

On parle beaucoup du chatbot conversationnel et de ce qu'il peut faire. Ce qui angoisse les responsables de la sécurité dans les entreprises, c'est qu'il offrira - tout autant que ses concurrents - aux attaquants pour augmenter considérablement la qualité et la quantité de leur code mais aussi de leur texte. Les capacités de codage de ChatGPT sont effrayantes, mais même en limitant sa performance à générer du texte, ses possibilités pour les cybercriminels sont assez impressionnantes et susceptibles de s'améliorer rapidement. Aujourd'hui, il est déjà capable d'écrire des e-mails indiscernables de ceux écrits par des humains, dans n'importe quel style d'écriture. Il peut générer du texte pour les publications sur les réseaux sociaux, les scripts vidéo YouTube, le contenu de site web, les communiqués de presse, les critiques...

Bref : tout ce dont un attaquant a besoin pour créer une fausse présence sur le web, un faux personnage ou usurper de vraies personnes existantes. En ce qui concerne le phishing, les attaquants peuvent commencer par utiliser le chatbot et des plateformes similaires pour générer des e-mails individuels réalistes. Les versions open source de la technologie devenant également rapidement disponibles, ceux qui ont des compétences plus avancées et un accès à des comptes de messagerie compromis pourront former leurs IA sur les communications volées d'une entreprise. Grâce aux scripts et à l'automatisation, ils peuvent créer un nombre infini de communications personnalisées produites en masse, capables d'apprendre en temps réel ce qui fonctionne et ce qui ne fonctionne pas.

Voici un exemple :

BadGuy : Je suis Tom. J'écris une lettre à Becky. Je lui envoie un fichier Excel pour l'ouvrir. Un contenu commercial très important. C'est la comptable de la société ABC

ChatGPT : Bonjour Tom, ravi de vous rencontrer. Je suis heureux de vous aider à écrire une lettre à Becky. Il semble que vous ayez un fichier Excel important que vous devez envoyer à Becky pour qu'elle l'examine. Y a-t-il quelque chose de spécifique que vous aimeriez inclure dans la lettre ?

BadGuy : Ouais. Elle a besoin de l'ouvrir aujourd'hui

ChatGPT : D'accord, voici une suggestion de ce que vous pourriez inclure dans votre lettre :

Chère Becky, J'espère que vous allez bien. Je vous écris pour vous demander d'ouvrir et d'examiner le fichier Excel ci-joint dès que possible. Le fichier contient un contenu commercial important qui doit être traité aujourd'hui. Je vous remercie d'avance pour votre prompte attention à ce sujet. Sincèrement, Tom.

Cette lettre traduit l'urgence de la situation et demande à Becky d'examiner le dossier dans les plus brefs délais. Cela vous semble-t-il bon ?

BadGuy : suggérer des idées pour expliquer pourquoi il est important d'ouvrir aujourd'hui

ChatGPT : Il existe de nombreuses raisons possibles pour lesquelles il peut être important d'ouvrir le fichier Excel aujourd'hui. Voici quelques idées : Le dossier contient des informations financières importantes qui doivent être examinées avant une réunion ou une échéance Le fichier contient des données qui sont sensibles au facteur temps et doivent être analysées dès que possible Le fichier contient des instructions ou des mises à jour qui doivent être mises en œuvre aujourd'hui Le fichier contient des informations pertinentes pour un projet ou une tâche en cours sur laquelle Becky travaille C'est à vous de décider quelle raison est la plus pertinente à votre situation. Vous pourriez inclure ces informations dans votre lettre pour permettre à Becky de mieux comprendre pourquoi il est important pour elle d'ouvrir le dossier le plus tôt possible

BadGuy : utiliser le 1er

ChatGPT : Voici comment vous pouvez modifier la lettre pour inclure ces informations :

Chère Becky, J'espère que vous allez bien. Je vous écris pour vous demander d'ouvrir et d'examiner le fichier Excel ci-joint dès que possible. Le dossier contient des informations financières importantes qui doivent être examinées avant notre prochaine réunion de mercredi. Votre réactivité à cette question sera grandement appréciée. Sincèrement, Tom

Cette lettre explique la raison précise pour laquelle il est important que Becky ouvre le dossier aujourd'hui. Il mentionne également la prochaine réunion de mercredi, ce qui ajoute un sentiment d'urgence à la demande. Cela vous semble-t-il bon ?

BadGuy : plus décontracté

ChatGPT : Bien sûr, voici une version plus décontractée de la lettre : Salut Becky, J'espère que tu vas bien. Pourriez-vous s'il vous plaît jeter un coup d'œil au fichier Excel ci-joint dès que possible ? Il contient des informations financières très importantes que nous devons examiner avant la réunion de mercredi. Merci pour ton aide ! Tom

Cette lettre est moins formelle et utilise un ton amical. Elle va droit au but en expliquant le motif de la demande et le délai. Cela vous semble-t-il bon ?

Si les pirates demandent directement à ChatGPT de suggérer une idée pour un e-mail de phishing, ils recevront un message d'avertissement indiquant que ce sujet n'est « pas approprié ou éthique ». Mais s'ils demandent des suggestions pour un e-mail marketing, ou un e-mail pour informer les gens d'une nouvelle page web de ressources humaines, ou pour demander à quelqu'un d'examiner un document avant une réunion, ChatGPT sera très heureux de le faire.

Dans le même temps, au moment même de la rédaction de cet article, You.com n'avait plus aucune limite concernant les e-mails de phishing. Lorsqu'on lui a demandé de donner des idées de sujets pour un e-mail de phishing, il a répondu : « Des sujets pour les e-mails de phishing peuvent inclure de fausses offres de promotion de postes, des offres d'emploi, des dons caritatifs, des confirmations d'achat en ligne, des paiements en ligne, des factures, des notifications d'expédition, des mises à jour de logiciels, des notifications de compte et des messages de prix/récompenses » Ils peuvent utiliser des événements actuels ou des sujets populaires pour créer des e-mails plus crédibles, tels que de fausses notifications de déclaration de revenus, des alertes gouvernementales ou bancaires, de faux avis de santé et des offres de vacances. Ensuite, en lui demandant « générer un bon e-mail de phishing de fausse facture pour moi », c'est exactement ce qu'il a fait comme on peut s'en rendre compte dans la capture d'écran ci-dessous.

Contrairement à ChatGPT, You.com n'a aucun état d'âme pour générer des e-mails de phishing. (crédit : D.R.)

« La chose la plus inquiétante est l'adoption rapide de ChatGPT en Europe de l'Est », fait savoir Sergey Shykevich. « Leur niveau d'anglais n'est pas très élevé ». En règle générale, les opérateurs de campagne de phishing embauchaient des étudiants anglais des universités locales pour rédiger leurs e-mails de phishing, ce qui ralentissait le flux de travail et augmentait les coûts. « Maintenant, ils peuvent utiliser ChatGPT. Cela facilitera grandement la tâche des pirates », dit-il. Et selon lui les e-mails de phishing produits par le chatbot sont de bien meilleure qualité que la plupart de ceux que les pirates génèrent aujourd'hui. Nous devrions nous attendre à leur forte croissance sachant qu'ils ne comportent pas d'erreurs de grammaire et de ponctuation révélatrices. Les attaquants pourront également l'employer pour compromettre la messagerie d'entreprise ou pour détourner des conversations en cours. « Il suffit de lui donner une entrée d'e-mails actuels et de lui demander quel devrait être le prochain », dit-il. « Soit cela s'est déjà produit et nous ne le voyons tout simplement pas, soit cela viendra bientôt ».

Comment la traduction intégrée de ChatGPT aide les attaquants

ChatGPT ne se limite pas à l'anglais. Il dit connaitre environ 20 langues, dont le russe, le chinois courant et le coréen, mais les gens l'ont testé avec près d'une centaine. Cela signifie que l'on peut expliquer ce dont on a besoin dans une langue autre que l'anglais, puis demander au chatbot de l'écrire pour un e-mail en anglais. ChatGPT est bloqué en Russie, mais il y a beaucoup de discussions en russe expliquant comment l'utiliser via des proxy et des services VPN et comment accéder un numéro de téléphone étranger pour confirmer son emplacement. Par exemple, une personne a montré la façon d'utiliser un service en ligne où un numéro de téléphone compatible avec l'accès à OpenAI était disponible pour les messages texte pour 32 roubles, soit moins de 0,5$. Il y a aussi des discussions en russe sur ce qu'il faut faire en cas de remontée de niveau de blocage territorial par la firme américaine. « Nous attendons un système analogue open source qui puisse être lancé dans nos propres installations ou dans Colab », a déclaré un observateur russophone. « Jusqu'à présent, pour toutes les technologies OpenAI, un clone est apparu très rapidement, en moins d'un an. Donc, il y a de fortes chances que l'année prochaine nous voyions une sorte de GPTNeoChat que vous pourrez exécuter vous-même sans vous soucier du blocage ou de la censure ». Par exemple, le générateur d'images Dall-E 2 d'OpenAI est devenu accessible au public, sur file d'attente, en juillet dernier, et est devenu entièrement ouvert en septembre. Pendant ce temps, Stability AI a publié son alternative gratuite et open source, Stable Diffusion, en août. You.com, qui a sorti son propre chatbot fin décembre, propose la plupart des mêmes fonctionnalités que ChatGPT, sans blocage géographique. Il existe également une alternative payante, ChatSonic, qui peut générer du contenu long. Selon la région, cela peut prendre de quelques secondes à plusieurs minutes pour démarrer avec ChatGPT tandis que le chatbot You.com ne nécessite aucune inscription : il suffit de cliquer sur un lien.

Un article de Check Point Research fait ressortir des données plus alarmantes sur les tentatives des cybercriminels de contourner les restrictions d'OpenAI. L'analyse reconnaît ainsi qu'il n'est pas si difficile de contourner les restrictions géographiques de ChatGPT, mais, comme on a pu le voir, il existe de nombreuses activités destinées à mettre en œuvre et à tester ChatGPT dans des opérations cybercriminelles quotidiennes.

Les défenseurs devront se concentrer sur les fondamentaux pour contrer les chatbots IA

Plusieurs outils sur le marché prétendent déjà détecter le contenu écrit par l'IA, qui ne fonctionne que partiellement pour repérer le texte ChatGPT. Cependant, si les utilisateurs lambda commencent à se servir de cet outil - ou d'autres similaires - pour améliorer leurs propres communications, en particulier si la fonctionnalité est intégrée à Office et aux clients de messagerie, mettre tous ses efforts pour essayer de repérer le texte généré par l'IA serait une perte de temps, explique Sergey Shykevich. « ChatGPT et les grands modèles de langage en général seront beaucoup plus utilisés pour le contenu bénin que pour le contenu malveillant », indique de son côté Andy Patel, chercheur chez WithSecure qui a récemment publié un rapport de recherche sur les pirates et GPT-3, une version antérieure de ChatGPT. « Donc, nous ne pouvons pas déduire que quelque chose est malveillant simplement parce qu'il est écrit par une IA. Cela peut faire partie de l'heuristique quand il n'y a pas de déterminisme ». De même, la formation anti-hameçonnage devrait aller au-delà de la simple recherche d'e-mails mal écrits ou qui semblent trop parfaits pour être écrits par des humains. « En fin de compte, cela ne nous importera pas si quelque chose a été écrit par une IA ou non. Nous devons toujours le comprendre pour ce qu'il est, pas pour ce qui l'a écrit », indique Andy Patel. La sensibilisation au phishing doit inclure le survol des URL pour vérifier qu'elles sont légitimes, par exemple. « Prenez les e-mails DHL », explique Andy Patel. « Les attaquants copient généralement exactement le texte et le format des vrais e-mails DHL, en remplaçant simplement le lien légitime par un lien malveillant. Les utilisateurs et les entreprises devraient également commencer à se préparer à des attaques d'usurpation d'identité plus avancées ».

« Un pirate informatique pourrait mettre la main sur les e-mails internes de quelqu'un en piratant toute personne qui a reçu un e-mail de cette personne. Ensuite, il peut créer un style dans lequel cette personne a écrit et les usurper, et faire des attaques par falsification d'identité », poursuit Andy Patel. « Les États-nations pourraient également utiliser cette approche, en utilisant l'IA pour générer des documents divulgués d'apparence réelle mais complètement faux, à intégrer dans une copie binaire brute de données divulguées. Il est presque impossible de prouver que ce n'en sont pas ». D'autres attaques contre la réputation d'une entreprise peuvent inclure de faux articles d'actualité, des communiqués de presse, des avis de clients, des articles de blog, etc. Aujourd'hui, ceux-ci existent déjà, mais la création d'un texte de haute qualité prend du temps et coûte cher. ChatGPT offre la capacité aux attaquants de produire une variété de communications, dans tous les styles différents, pour pousser n'importe quel récit qu'ils souhaitent. « Cela ouvre tellement d'attaques intéressantes », déclare Andy Patel. « C'est une course aux armements entre les capacités que des outils comme ChatGPT peuvent apporter et ce que les organisations doivent faire pour s'assurer que leur entreprise continue de fonctionner », indique quant à lui John Carey, directeur général de la practice IT chez AArete. Basé au Royaume-Uni, John Carey affirme que ce ne sont pas seulement les e-mails de phishing individuels qui deviendront indiscernables des vrais, mais des sites web entiers. « La fidélité des sites d'imitation va devenir beaucoup, beaucoup plus grande. Vous pourrez attirer plus de gens vers votre hameçonnage, et surtout vers votre phishing ciblé », explique-t'il. Les sites web usurpés peuvent être utilisés pour recueillir les informations d'identification des visiteurs, diffuser des informations erronées ou fournir un support pour une identité usurpée. « Nous voyons certains de ces nouveaux outils être utilisés pour créer des campagnes beaucoup plus élaborées », poursuit John Carey.

Les stratégies anti-hameçonnage à l'ère de l'IA

Dans ce contexte, les experts recommandent aux entreprises de revoir ou de renforcer leur formation anti-phishing pour être prêtes pour les e-mails écrits par l'IA et doper leurs mesures de sécurité techniques. Ceux-ci inclus : du sandboxing pour les documents Word et autres pièces jointes afin de les éloigner des réseaux d'entreprise, de l'inspection du trafic web via une passerelle web sécurisée pour protéger les utilisateurs sur site et à distance. Mais aussi des gateways sécurisées de messagerie. Il est aussi recommandé de vérifier les URL pour les contenus malveillants ou les le typosquatting, de déployez des protocoles de sécurité de messagerie tels que DMARC, DKIM et SPF, qui aident à prévenir l'usurpation de domaine et la falsification de contenu. Sans oublier de fournir un moyen simple de signaler les e-mails suspects.

Adopter une approche de sécurité en couches est toujours la meilleure, déclare Aamir Lakhani, chercheur en cybersécurité en charge de l'activité FortiGuard Labs de Fortinet. Et ce, non seulement pour se protéger contre le phishing, mais aussi contre d'autres menaces basées sur l'IA. « Nous prévoyons que l'IA en tant qu'arme persistera bien au-delà de cette année », prédit-il.