UN FANTÔME DE THÉÂTRE TROMPE LA RECONNAISSANCE FACIALE

La reconnaissance faciale déverrouille aujourd’hui les téléphones, valide des paiements et contrôle les voyageurs aux frontières. Ses réseaux de neurones sont, note l’article, plus précis que les humains. Plus on s’y fie, plus on a intérêt à la tromper, et les systèmes ont deux sortes de gardiens. Les détecteurs d’usurpation traquent les photos imprimées, les vidéos rejouées ou les masques, en examinant les textures et les signes de vie. Les détecteurs de morphing traquent les visages fusionnés numériquement, qui mélangent deux personnes en une seule image.

Une illusion venue de la scène

Tyler Fitzsimmons et Adam Czajka (université de Notre Dame) ressuscitent un vieux truc de théâtre : le fantôme de Pepper, où une vitre inclinée reflète une image cachée, si bien qu’un « fantôme » semble se tenir sur scène.

Dans leur « Ghost Attack », le reflet superpose le visage d’une autre identité à celui qui se trouve devant la caméra. Pour un humain, la personne a l’air à peu près normale, un peu floue ou en partie masquée par un reflet. Pour le logiciel, les deux visages se mêlent en une signature faciale hybride.

L’attaque se joue dans l’espace libre entre le capteur et la personne. Elle ne demande aucun accès au logiciel de reconnaissance, à son état interne ou à ses décisions, ni au matériel de prise de vue : c’est une attaque en pure « boîte noire ». Les auteurs la présentent comme la première attaque physique de ce genre, à mi-chemin entre les attaques par présentation et le morphing.

Un test de laboratoire soigné

Les chercheurs n’ont pas fait appel à des personnes réelles. Les vrais visages étaient des photographies d’une base de recherche standard, affichées sur un écran et refilmées ; l’identité « fantôme » venait d’un second écran, reflété par la vitre. Le protocole reste ainsi reproductible, et les auteurs estiment que des sujets réels ne changeraient pas les conclusions. Ils ont constitué un jeu de données, GhostFace, de 100 identités variées en genre, origine et âge, enregistrées à des forces d’attaque croissantes.

Ils l’ont ensuite confronté à des systèmes open source très utilisés : cinq logiciels de reconnaissance, trois détecteurs d’usurpation et quatre détecteurs de morphing, selon les normes de test internationales.

Trois gardiens, tous trompés

• Les détecteurs d’usurpation ont classé entre 80 % et 96 % des images d’attaque à pleine force comme de vrais visages vivants. Même le plus réactif en a laissé passer environ quatre sur cinq.
• Les détecteurs de morphing, entraînés sur des morphings numériques, ont manqué entre 16 % et 61 % des images d’attaque à un réglage strict, sans jamais signaler un vrai visage. Des modèles entraînés sur des mélanges numériques, concluent les auteurs, ne repèrent pas de façon fiable les mélanges optiques.
• Les logiciels de reconnaissance ont accepté des imposteurs à des taux variables. Le plus vulnérable, ArcFace, a accepté 32,75 % des images d’attaque comme la cible au seuil testé, et au moins une image dans 99 des 100 vidéos d’attaque. Le modèle le plus récent testé en acceptait encore 7 % à un seuil plus strict. Le plus résistant, MagFace, qui tient compte de la qualité de l’image, en acceptait moins de 1 %.

Parfois, le visage mélangé n’était reconnu comme aucune des deux personnes, mais comme une troisième identité de la base.

Combler l’angle mort

Les auteurs décrivent un angle mort important : les systèmes biométriques actuels ne prennent pas en compte les projections transparentes, et l’article montre les limites à la fois des contrôles de vie fondés sur les textures et des détecteurs de morphing entraînés sur des images seulement numériques. L’étude reste une démonstration de laboratoire, avec des modèles open source et des photographies refilmées. Pour soutenir la recherche, les auteurs proposent le jeu de données GhostFace aux autres équipes sur demande, comme nouvelle référence pour tester ensemble reconnaissance, détection d’usurpation et détection de morphing.