La lutte contre les deepfakes constitue un cheval de bataille pour de nombreuses organisations. Une poignée de jours après Microsoft, c'est au tour d'Intel de l'université de Binghamton (New-York) de révéler les résultats d'une recherche sur une technologie très particulière de lutte contre la désinformation et la manipulation d'images. Cette dernière se base en effet sur la photopléthysmographie (PPG), une technique consistant à détecter des changements de volume sanguin induit par les battements cardiaques. Des applications PPG à distance sont utilisées dans des domaines tels que les soins de santé, mais également pour identifier les deepfakes.

« Notre observation clef montre que les modèles spatio-temporels des signaux biologiques peuvent être conçus comme un projection représentative des résidus. Pour justifier cette observation, nous extrayons des cellules PPG à partir de vidéos réelles et fausses et les alimentons vers un réseau de classification à la pointe de la technologie pour détecter le modèle génératif par vidéo », ont expliqué les chercheurs. Les résultats de la recherche indiquent que cette approche peut détecter les fausses vidéos avec une précision de 97,29% contre 93,39% habituellement pour des modèles basées sur la manipulation de visages par DeepFakes, Face2Face, FaceSwap et NeuralTextures.

Alibaba aussi plongé dans la lutte contre les deepfake par battement cardiaque

En interprétant des signaux biologiques tel que des battements cardiaques, la technologie des chercheurs d'Intel et de l'université de Binghamton permet d'analyser la signature des résidus par modèle pour déterminer l'authenticité d'une vidéo et aussi classer le modèle source qui génère la vidéo. « Notre système est implémenté en python en utilisant la bibliothèque OpenFace pour la détection des visages, OpenCV pour le traitement d'image et Keras pour les implémentations de réseaux neuronaux », peut-on lire dans la recherche. « La plupart de la formation et des tests sont effectués sur un ordinateur de bureau avec un seul GPU NVIDIA GTX 1060, avec temps de formation faciles à gérer. La partie du système la plus coûteuse en calcul est l'extraction de cellules PPG à partir de grands ensembles de données, qui est un processus unique par vidéo ».

Les chercheurs d'Intel et de l'université de Binghamton ne sont pas les seuls à s'intéresser à la technologie d'analyse PPG pour détecter les deepfakes. C'est également le cas des chercheurs en intelligence artificielle d'Alibaba et des universités de Kyushu University, Nanyang Technological et de Tianjin qui ont récemment levé le voile sur la détection de modèle manipulées avec DeepRythm. Ces derniers sont également partis du postulat que les ausses vidéos peuvent toujours faire ressortir des rythmes cardiaques, mais leurs modèles sont diminués par les méthodes deepfake et sont différents des originaux.