شبحی تئاتری تشخیص چهره را فریب می‌دهد
تشخیص چهره اکنون قفل گوشی‌ها را باز می‌کند، پرداخت‌ها را تأیید می‌کند و مسافران را در مرزها بررسی می‌کند. به اشارهٔ مقاله، شبکه‌های عصبی آن از انسان‌ها دقیق‌ترند. هرچه اتکا به آن بیشتر می‌شود، انگیزه برای فریب دادنش هم بیشتر می‌شود، و این سامانه‌ها دو گونه نگهبان دارند. آشکارسازهای حملهٔ ارائه (presentation-attack detectors) با بررسی بافت‌ها و نشانه‌های زنده بودن، دنبال عکس‌های چاپی، ویدئوهای بازپخش‌شده یا ماسک‌ها می‌گردند. آشکارسازهای ادغام (morph detectors) دنبال چهره‌هایی می‌گردند که به‌طور دیجیتال درهم آمیخته شده‌اند، یعنی با ادغام دو نفر در یک تصویر ساخته شده‌اند.
خطای دیدی از صحنه
تایلر فیتزسیمونز و آدام چایکا (دانشگاه نوتردام) ترفندی قدیمی از تئاتر را زنده می‌کنند: شبح پپر (Pepper’s Ghost)، که در آن یک صفحهٔ شیشهٔ کج تصویری پنهان را بازتاب می‌دهد، چنان‌که گویی «شبحی» روی صحنه ایستاده است.
در «حملهٔ شبح» (Ghost Attack) آن‌ها، این بازتاب چهرهٔ هویتی دیگر را روی چهرهٔ روبه‌روی دوربین می‌اندازد. برای یک تماشاگر انسانی، شخص نسبتاً عادی به نظر می‌رسد، کمی تار یا تا حدی پوشیده با یک درخشش. برای نرم‌افزار، دو چهره در یک امضای چهرهٔ دورگه درهم می‌آمیزند.
حمله در فضای آزاد میان حسگر و شخص رخ می‌دهد. نیازی به دسترسی به نرم‌افزار تشخیص، حالت درونی یا تصمیم‌هایش، یا سخت‌افزار دوربین ندارد: به‌عنوان یک حملهٔ جعبه‌سیاه محض کار می‌کند. نویسندگان آن را نخستین حملهٔ فیزیکی از این نوع معرفی می‌کنند که میان حمله‌های ارائه و ادغام قرار می‌گیرد.
آزمونی دقیق در آزمایشگاه
پژوهشگران از افراد زنده استفاده نکردند. چهره‌های واقعی عکس‌هایی از یک پایگاه دادهٔ پژوهشی استاندارد بودند که روی صفحه‌نمایشی نشان داده و دوباره فیلم‌برداری شدند؛ هویت «شبح» از صفحه‌نمایش دومی می‌آمد که در شیشه بازتاب می‌یافت. این کار پروتکل را تکرارپذیر نگه می‌دارد، و نویسندگان استدلال می‌کنند که افراد زنده نتیجه‌ها را تغییر نمی‌دادند. آن‌ها مجموعه‌داده‌ای به نام GhostFace ساختند، شامل 100 هویت متنوع از نظر جنسیت، خاستگاه و سن، که با شدت‌های فزایندهٔ حمله ضبط شده‌اند.
سپس آن را، مطابق استانداردهای بین‌المللی آزمون، در برابر سامانه‌های متن‌باز پرکاربرد اجرا کردند: پنج تطبیق‌دهندهٔ چهره، سه آشکارساز جعل و چهار آشکارساز ادغام.
سه نگهبان، هر سه فریب‌خورده
- آشکارسازهای جعل بین 80٪ تا 96٪ از تصاویر حمله با شدت کامل را چهره‌های زنده و واقعی طبقه‌بندی کردند. حتی حساس‌ترینشان تقریباً از هر پنج تصویر چهار تا را راه داد.
- آشکارسازهای ادغام، که روی ادغام‌های دیجیتال آموزش دیده‌اند، در تنظیمی سخت‌گیرانه بین 16٪ تا 61٪ از تصاویر حمله را از دست دادند، در حالی که هرگز چهرهٔ واقعی را نشانه‌گذاری نکردند. نویسندگان نتیجه می‌گیرند که مدل‌های آموزش‌دیده روی آمیزه‌های دیجیتال، آمیزه‌های نوری را به‌طور قابل اعتمادی تشخیص نمی‌دهند.
- تطبیق‌دهنده‌های چهره جاعلان را با نرخ‌های گوناگون پذیرفتند. آسیب‌پذیرترینشان، ArcFace، در آستانهٔ آزموده‌شده 32.75٪ از تصاویر حمله را به‌عنوان شخص هدف پذیرفت، و دست‌کم یک تصویر را در 99 ویدئو از 100 ویدئوی حمله. جدیدترین مدل آزموده‌شده در آستانه‌ای سخت‌گیرانه‌تر هنوز 7٪ را پذیرفت. مقاوم‌ترینشان، MagFace، که کیفیت تصویر را در تصمیم‌هایش لحاظ می‌کند، کمتر از 1٪ را پذیرفت.
گاهی چهرهٔ درهم‌آمیخته نه به‌عنوان هیچ‌یک از دو نفر، بلکه به‌عنوان هویتی سوم از پایگاه داده شناخته شد.
بستن نقطهٔ کور
نویسندگان یک نقطهٔ کور مهم را توصیف می‌کنند: سامانه‌های زیست‌سنجی کنونی تصویرافکنی‌های شفاف را به حساب نمی‌آورند، و مقاله محدودیت‌های هم بررسی‌های زنده بودن مبتنی بر بافت و هم آشکارسازهای ادغامی را که تنها روی تصاویر دیجیتال آموزش دیده‌اند نشان می‌دهد. این پژوهش همچنان یک نمایش آزمایشگاهی با مدل‌های متن‌باز و عکس‌های بازتصویربرداری‌شده است. برای پشتیبانی از پژوهش‌های بیشتر، نویسندگان مجموعه‌دادهٔ GhostFace را در صورت درخواست در اختیار گروه‌های دیگر می‌گذارند، به‌عنوان معیاری تازه برای آزمودن هم‌زمان تشخیص چهره، تشخیص جعل و تشخیص ادغام.