Le smartphone est souvent considéré comme sachant tout de nous, mais il a aussi ses faiblesses qui peuvent servir à l’espionner. Des chercheurs de cinq universités américaines (Texas A&M, Temple, Dayton, Rutgers et le New Jersey Institute of Technology) ont mis au point un moyen d’écouter et de collecter des informations en analysant les vibrations émises par le haut-parleur supérieur des smartphones Android. Nommée Earspy, cette technique s’appuie à la fois sur le haut-parleur supérieur et les capteurs de mouvement en particulier l’accéléromètre. C'est ce dernier, qui capture les minuscules vibrations générées par le haut-parleur.

Des recherches précédentes avaient montré la capacité à espionner des mobiles via les haut-parleurs. Cependant, celui situé au niveau de l’oreille, était considéré comme trop faible pour générer suffisamment de vibrations. Entre temps, les constructeurs ont amélioré les capacités audios qui génèrent aussi de plus fortes vibrations qui peuvent être saisies par les capteurs de mouvement (accéléromètre et gyroscope). Dans leur article, les scientifiques montrent cette évolution autour de terminaux OnePlus (cf image ci-dessous).

Des taux de reconnaissance prometteurs

Partant de ce constat, ils ont téléchargé une application tierce « Physics Toolbox Sensor Suite » pour capturer les données de l'accéléromètre pendant un appel simulé, puis les ont transmises à MATLAB (logiciel de calcul numérique matriciel à syntaxe simple) pour les analyser et extraire des caractéristiques du flux audio. Un algorithme de machine learning a été entraîné pour reconnaître le contenu des paroles, l’identité de l’appelant et son sexe. Les données de test variaient en fonction de l'ensemble de données et de l'appareil, mais elles ont donné des résultats globalement prometteurs pour l'écoute clandestine via le haut-parleur auriculaire. Les tests ont montré des taux de reconnaissances importantes sur l’identification du genre (proche des 100%) et de l’appelant, mais il reste encore faible sur la reconnaissance vocale.

Fort de ces résultats, les chercheurs émettent quelques conseils pour éviter ce type d’attaque. Ainsi, ils préconisent de baisser le volume du haut-parleur, ainsi les vibrations seraient moins importantes et le confort auditif amélioré. Selon eux, la disposition des composants matériels du smartphone et l’étanchéité de l’assemblage ont un impact dans la diffusion des vibrations du haut-parleur. Ils encouragent donc les constructeurs à examiner ce point et à placer les capteurs de mouvement à un endroit où les vibrations sont minimisées.