الگوهای خصمانه هوش مصنوعی چگونه دوربین‌های نظارتی را فریب می‌دهند؟

یک پژوهشگر امنیت سایبری الگویی مبتنی بر هوش مصنوعی توسعه داده است که می‌تواند توانایی برخی دوربین‌های نظارتی و سامانه‌های تشخیص پلاک و اشیا را برای شناسایی افراد و وسایل نقلیه مختل کند. این فناوری که پروژه noRecognition نام دارد، با استفاده از «الگوهای خصمانه» (Adversarial Patterns) تلاش می‌کند اشیا را برای الگوریتم‌های نظارتی غیرقابل شناسایی کند.

بیل سوئرینجن، پژوهشگر حوزه امنیت سایبری، طی یک سال و با انجام حدود ۳۱ میلیون آزمایش روی الگوهای مختلف، مدلی توسعه داده که می‌تواند الگوهایی تولید کند که روی لباس یا اشیا قرار می‌گیرند و برخی سامانه‌های رایج نظارتی را در شناسایی آن‌ها دچار مشکل می‌کنند.

نکته مهم این است که این الگوها دوربین را از ضبط تصاویر بازنمی‌دارند؛ بلکه تلاش می‌کنند الگوریتم تحلیل تصویر را فریب دهند تا شیء، چهره یا وسیله نقلیه‌ای که الگو روی آن قرار گرفته، شناسایی نشود.

الگوهای خصمانه چگونه دوربین‌های نظارتی را فریب می‌دهند؟

دوربین‌های نظارتی مدرن صرفاً تصاویر را ضبط نمی‌کنند. بسیاری از آن‌ها از الگوریتم‌های هوش مصنوعی برای تحلیل و شناسایی محتوای تصویر استفاده می‌کنند؛ از تشخیص پلاک خودرو گرفته تا شناسایی چهره و تشخیص اشیای مختلف.

الگوهای توسعه‌یافته در پروژه noRecognition با هدف ایجاد اختلال در همین مرحله طراحی شده‌اند.

این الگوها مانند یک پوشش بصری عمل می‌کنند که الگوریتم تشخیص را دچار خطا می‌کند. در نتیجه، دوربین همچنان تصویر را ضبط می‌کند، اما سامانه تحلیل تصویر ممکن است نتواند تشخیص دهد که دقیقاً چه چیزی در تصویر قرار دارد.

به بیان ساده، هدف این فناوری نامرئی کردن فرد یا خودرو برای دوربین نیست؛ بلکه نامرئی کردن آن برای الگوریتم تشخیص است.

هوش مصنوعی چگونه الگوی مناسب را پیدا می‌کند؟

سوئرینجن ابتدا آزمایش‌های خود را با الگوریتم‌های متن‌باز تشخیص تصویر آغاز کرد. سپس با افزایش قدرت پردازشی و تکرار میلیون‌ها آزمایش، سیستم خود را به یک مدل یادگیری تقویتی تبدیل کرد.

این مدل می‌آموزد کدام الگوها باعث شکست الگوریتم تشخیص می‌شوند و کدام الگوها تأثیری ندارند.

سوئرینجن این فرآیند را به آموزش یک مدل برای «نقاشی کردن» تشبیه کرده است. هر بار که یک الگو توسط الگوریتم شناسایی می‌شود، مدل الگوی جدیدی تولید می‌کند و این روند تا رسیدن به نتیجه بهتر ادامه پیدا می‌کند.

بر اساس گفته‌های این پژوهشگر، مدل او توانسته الگوهایی پیدا کند که هر ۱۱ الگوریتم تشخیص متن‌باز مورد آزمایش را با موفقیت فریب می‌دهند.

Flock، Axon و Clearview AI در آزمایش‌ها

این پژوهش برای آزمایش الگوهای خصمانه از چندین فناوری و سامانه شناخته‌شده استفاده کرده است.

از جمله سیستم‌هایی که در آزمایش‌های سوئرینجن مورد بررسی قرار گرفته‌اند می‌توان به نرم‌افزار مورد استفاده در دوربین‌های تشخیص پلاک Flock، دوربین‌های پوشیدنی Axon و سامانه‌های دوربین مبتنی بر Clearview AI اشاره کرد.

با این حال، موفقیت در محیط آزمایشگاهی الزاماً به معنای شکست تمام دوربین‌های نظارتی در دنیای واقعی نیست و عملکرد این الگوها می‌تواند به نوع دوربین، زاویه دید، فاصله، نور و الگوریتم مورد استفاده وابسته باشد.

آزمایش واقعی با یک خودروی تویوتا

پروژه noRecognition در کنفرانس امنیت سایبری Def Con در لاس‌وگاس وارد مرحله آزمایش واقعی شد.

در این آزمایش، یک خودروی Toyota Yaris مدل ۲۰۰۹ با یکی از جدیدترین الگوهای تولیدشده توسط مدل پوشانده شد تا مشخص شود آیا یک دوربین Flock قادر به شناسایی خودرو خواهد بود یا خیر.

سوئرینجن اعلام کرد که این آزمایش موفق بوده است، هرچند چرخ‌های خودرو همچنان برای سیستم تشخیص یک چالش محسوب می‌شدند.

این آزمایش اهمیت زیادی دارد، زیرا نشان می‌دهد حملات خصمانه علیه سیستم‌های بینایی ماشین فقط یک مسئله تئوری یا آزمایشگاهی نیستند و می‌توانند در شرایط واقعی نیز مورد استفاده قرار گیرند.

پروژه noRecognition چیست؟

پروژه noRecognition با هدف فراهم کردن راهی برای کاهش ردیابی الگوریتمی در فضاهای عمومی شکل گرفته است.

سوئرینجن معتقد است افراد باید بتوانند درباره اینکه چه زمانی و چگونه توسط سامانه‌های نظارتی ردیابی می‌شوند، حق انتخاب داشته باشند.

این پروژه در حال توسعه محصولاتی مانند تی‌شرت و هودی با الگوهای خصمانه است و احتمال عرضه پوشش‌هایی برای خودروها نیز در آینده مطرح شده است.

البته پژوهشگر اعلام کرده که قدرتمندترین الگوهای خود را عمومی نمی‌کند؛ زیرا انتشار آن‌ها می‌تواند به سازندگان دوربین‌ها فرصت دهد الگوریتم‌های خود را برای مقابله با این الگوها به‌روزرسانی کنند.

رقابت میان هوش مصنوعی و سیستم‌های نظارتی

توسعه الگوهای خصمانه می‌تواند به شکل‌گیری یک رقابت جدید میان سازندگان سامانه‌های نظارتی و پژوهشگران حوزه حریم خصوصی منجر شود.

هرچه الگوریتم‌های تشخیص تصویر پیشرفته‌تر شوند، روش‌های مقابله با آن‌ها نیز پیچیده‌تر خواهند شد. از سوی دیگر، شرکت‌های تولیدکننده دوربین می‌توانند مدل‌های خود را برای شناسایی الگوهای خصمانه و مقابله با آن‌ها آموزش دهند.

در نتیجه، الگوهایی که امروز یک سامانه را فریب می‌دهند، لزوماً در آینده نیز مؤثر نخواهند بود.

پروژه noRecognition در حال حاضر بیشتر یک اثبات اولیه امکان‌پذیری محسوب می‌شود؛ اما موفقیت آزمایش‌های انجام‌شده نشان می‌دهد که «فریب الگوریتم‌های نظارتی با استفاده از الگوهای خصمانه» می‌تواند به یکی از حوزه‌های مهم پژوهش در زمینه حریم خصوصی و امنیت هوش مصنوعی تبدیل شود.