Data Poisoning چیست و چگونه امنیت هوش مصنوعی را تهدید میکند؟
مسمومسازی داده یا Data Poisoning چیست و چگونه میتواند با آلودهکردن دادههای آموزشی، عملکرد مدلهای هوش مصنوعی و امنیت سامانههای سایبری را تهدید کند؟
تصور کنید یک سامانه هوش مصنوعی که وظیفه شناسایی ایمیلهای فیشینگ را بر عهده دارد، بهتدریج با دادههای جعلی آموزش ببیند؛ دادههایی که بهعمد بهگونهای طراحی شدهاند تا پیامهای مخرب را عادی جلوه دهند. نتیجه میتواند مدلی باشد که در ظاهر سالم است، اما در لحظهای حساس، تهدید واقعی را شناسایی نمیکند. این همان خطری است که با عنوان Data Poisoning یا مسمومسازی داده شناخته میشود و با گسترش استفاده از هوش مصنوعی، به یکی از نگرانیهای جدی امنیت سایبری تبدیل شده است.
Data Poisoning چیست؟
هوش مصنوعی بیش از هر چیز به داده وابسته است. یک مدل یادگیری ماشین یا هوش مصنوعی بر اساس حجم بزرگی از دادهها آموزش میبیند و الگوهای موردنیاز برای تصمیمگیری را از همین دادهها استخراج میکند. بنابراین، اگر مهاجم بتواند بخشی از این دادهها را دستکاری کند، در واقع میتواند بر رفتار آینده مدل اثر بگذارد.
در Data Poisoning، مهاجم دادههای مخرب، نادرست یا دستکاریشده را وارد مجموعهدادهای میکند که قرار است برای آموزش یا بهروزرسانی یک مدل استفاده شود. این دادهها ممکن است بهصورت مستقیم وارد دیتاست شوند یا از طریق منابع ثالث، محتوای آنلاین، دادههای تولیدشده توسط کاربران و حتی زنجیره تأمین داده به مدل برسند.
IBM نیز Data Poisoning را نوعی حمله سایبری میداند که در آن مهاجم دادههای آموزشی مورد استفاده برای توسعه مدلهای هوش مصنوعی و یادگیری ماشین را دستکاری یا آلوده میکند. نتیجه این حمله میتواند تغییر رفتار مدل، کاهش دقت یا طبقهبندی اشتباه دادهها باشد.
برای درک سادهتر موضوع، یک سامانه تشخیص فیشینگ را تصور کنید که هر روز از دادههای جدید برای بهبود عملکرد خود استفاده میکند. مهاجم میتواند تعداد زیادی نمونه جعلی ایجاد کند که از نظر ظاهری شبیه ایمیلهای عادی هستند، اما ویژگیهای مشترکی با ایمیلهای مخرب دارند. اگر این دادهها بدون کنترل وارد چرخه آموزش شوند، مدل ممکن است بهتدریج الگوی اشتباهی را یاد بگیرد و در آینده برخی حملات واقعی را تهدید تشخیص ندهد.
در اینجا مهاجم مدل را هک نکرده است؛ او چیزی را تغییر داده که مدل از آن یاد میگیرد.
چرا Data Poisoning یک تهدید امنیت سایبری است؟
خطر اصلی این حمله زمانی آشکار میشود که هوش مصنوعی در سامانههای امنیتی یا فرایندهای حساس سازمان مورد استفاده قرار گرفته باشد.
اگر یک مدل برای تشخیص بدافزار، فیشینگ، تقلب، رفتار غیرعادی کاربران یا تهدیدهای سایبری آموزش دیده باشد، آلودهشدن دادههای آن میتواند بهصورت مستقیم به کاهش توان دفاعی سازمان منجر شود.
مایکروسافت سالهاست در چارچوب تهدیدهای یادگیری ماشین، Data Poisoning را بهعنوان حملهای در نظر میگیرد که هدف آن آلودهکردن مدل در مرحله آموزش و تغییر پیشبینیهای آن در زمان استفاده است. در سناریوی «Targeted Data Poisoning» نیز مهاجم میتواند تلاش کند فقط نمونههای خاصی بهاشتباه طبقهبندی شوند تا یک اقدام مشخص انجام شود یا انجام نشود.
مرکز ملی امنیت سایبری بریتانیا (NCSC) نیز Data Poisoning را یکی از حملات مهم علیه سیستمهای هوش مصنوعی میداند و هشدار داده است که مهاجم با دستکاری دادههای مورد استفاده برای آموزش مدل میتواند خروجیهای نامطلوب، از جمله پیامدهای امنیتی و سوگیری، ایجاد کند.
این مرکز در راهنمای جدیدتر خود، حملات Poisoning را به سه گروه Availability Poisoning، Targeted Poisoning و Backdoor Poisoning تقسیم کرده و Data Poisoning را بخشی از تهدیدهای زنجیره تأمین هوش مصنوعی میداند.
هشدار درباره مسمومسازی مدلهای بزرگ
نگرانی درباره Data Poisoning فقط به مدلهای کوچک و سنتی یادگیری ماشین محدود نمیشود. NCSC پیشتر به پژوهشهایی اشاره کرده بود که نشان میدادند مهاجم برای مسمومکردن حتی مدلهای بسیار بزرگ، به کنترل حجم عظیمی از دادههای آموزشی نیاز ندارد و دسترسی به بخش کوچکی از دادهها میتواند در شرایط خاص کافی باشد. این مرکز در عین حال تأکید کرده است که شناسایی و مقابله با Data Poisoning و Prompt Injection میتواند دشوار باشد.
گزارش NCSC درباره امنیت زنجیره تأمین یادگیری ماشین نیز هشدار میدهد که آموزش یک مدل با دیتاست آلوده میتواند عملکرد آن را کاهش دهد و حتی حملات هدفمندی ایجاد کند که یک درِ پشتی را در رفتار مدل قرار دهند.
Data Poisoning فقط یک فرضیه نیست
یکی از معروفترین نمونههای تاریخی، چتبات Tay مایکروسافت است. Tay در سال ۲۰۱۶ برای تعامل با کاربران توییتر راهاندازی شد و برخلاف چتباتهای مبتنی بر پاسخهای از پیش تعریفشده، از تعاملات کاربران تأثیر میپذیرفت.
گروهی از کاربران بهصورت هماهنگ حجم زیادی از محتوای توهینآمیز و نامناسب را به سمت Tay فرستادند. این تعاملات باعث شد چتبات در مدت کوتاهی شروع به تولید محتوای توهینآمیز کند و مایکروسافت کمتر از ۲۴ ساعت بعد آن را از دسترس خارج کرد. دولت بریتانیا نیز این رخداد را در گزارش خود بهعنوان نمونهای از Tay Poisoning ثبت کرده است.
هرچند Tay دقیقاً با معماری مدلهای مولد امروزی یکسان نبود، اما یک نکته مهم را نشان داد: وقتی سیستم هوش مصنوعی از دادههای ورودی بهصورت مستمر یاد میگیرد، ورودی مخرب میتواند به بخشی از مسئله امنیتی تبدیل شود.
حمله به فیلتر اسپم Gmail
نمونه مهمتر از منظر امنیت سایبری، تلاشهای گسترده برای مسمومسازی فیلتر اسپم Gmail است. بر اساس گزارشهای منتشرشده، مهاجمان در چندین عملیات تلاش کردند با ارسال حجم بسیار زیادی از ایمیلهای دستکاریشده، الگوریتم تشخیص اسپم را دچار خطا کنند. هدف این بود که تعریف سیستم از «اسپم» تغییر کند و برخی پیامهای مخرب یا فیشینگ از فیلتر عبور کنند.
NIST نیز در اسناد خود Data Poisoning را در همین چارچوب بررسی کرده و Gmail را در کنار نمونههایی مانند VirusTotal، بهعنوان نمونهای از ریسک آلودهشدن دادههای مورد استفاده سامانههای یادگیری ماشین مطرح کرده است.
اهمیت این مثال برای امنیت سایبری در این است که خود سیستم دفاعی میتواند هدف حمله قرار گیرد؛ یعنی مهاجم بهجای دورزدن مستقیم فیلتر، تلاش میکند چیزی را تغییر دهد که فیلتر بر اساس آن تصمیم میگیرد.
VirusTotal؛ وقتی داده امنیتی آلوده میشود
نمونه دیگر به VirusTotal مربوط میشود؛ سرویسی که حجم زیادی از اطلاعات مربوط به فایلها و بدافزارها را جمعآوری و برای تحلیل تهدید مورد استفاده قرار میدهد.
MITRE ATLAS یک نمونه از حمله موسوم به VirusTotal Poisoning را ثبت کرده است. در این سناریو، نمونههایی مشابه، اما نه کاملاً یکسان، از یک خانواده باجافزار در یک پلتفرم اشتراک فایلهای مشکوک قرار گرفتند تا در فرایند طبقهبندی آن خانواده اختلال ایجاد شود. این نمونه بهعنوان یکی از مطالعات موردی Data Poisoning در چارچوب MITRE ATLAS شناخته میشود.
اهمیت این مورد برای امنیت سایبری بسیار بالاست؛ چرا که اگر دادهای که برای شناسایی بدافزار استفاده میشود آلوده شود، مهاجم میتواند تلاش کند سامانههای تشخیص تهدید را نسبت به نمونههای واقعی بدافزار دچار اشتباه کند.
پژوهشهای جدیدتر نیز نشان دادهاند که این نگرانی همچنان جدی است. یک مطالعه در سال ۲۰۲۶ نشان داد تزریق نمونههای برچسبگذاریشده مخرب که تنها ۰.۵ درصد از دادههای آموزشی را تشکیل میدادند، در یک آزمایش باعث افزایش نرخ فرار از تشخیص یک طبقهبندیکننده بدافزار از ۲۶.۱ درصد به ۹۲.۸ درصد شد.
آیا مهاجم برای مسمومکردن AI به حجم زیادی از داده نیاز دارد؟
اگر بخواهیم پاسخ کوتاهی به این پرسش بدهیم، باید بگوییم که خیر. یکی از نگرانیهای مهم متخصصان این است که حمله موفق به معنای کنترل بخش بزرگی از دیتاست نیست. پژوهشهای مختلف نشان دادهاند که بسته به معماری مدل و نوع حمله، تعداد نسبتاً کمی نمونه مخرب میتواند رفتار مدل را در یک سناریوی خاص تغییر دهد.
برای مثال، پژوهشی درباره حملات Backdoor نشان داد که در یک سناریوی آزمایشی، مهاجم میتوانست با حدود ۵۰ نمونه مسموم، نرخ موفقیت حملهای را به بیش از ۹۰ درصد برساند.
این مسئله یک چالش جدی برای تیمهای امنیتی ایجاد میکند: داده آلوده ممکن است در میان میلیونها نمونه سالم گم شود.
نقطه کور جدید امنیت سایبری
Data Poisoning در نهایت یک پیام مهم برای سازمانها دارد: امنیت هوش مصنوعی فقط به محافظت از مدل یا API محدود نمیشود.
اگر سازمانی مدل قدرتمندی داشته باشد، اما نداند داده از کجا آمده، چه کسی آن را تولید کرده، چه تغییری روی آن انجام شده و آیا منبع داده قابل اعتماد است یا نه، ممکن است بزرگترین نقطه ضعف خود را نه در مدل، بلکه در زنجیره تأمین داده ایجاد کرده باشد.
به همین دلیل NCSC در رویکرد خود بر نگاه امنیتی به کل چرخه عمر AI تأکید دارد؛ از داده و آموزش گرفته تا مدل، استقرار و استفاده نهایی. استانداردهای جدید امنیت AI نیز همین مسیر را دنبال میکنند و Data Poisoning را در کنار سایر تهدیدهای سایبری، در کل چرخه عمر سیستم هوش مصنوعی مورد توجه قرار میدهند.
در دنیایی که تصمیمهای بیشتری به هوش مصنوعی سپرده میشود، شاید پرسش مهم دیگر فقط این نباشد که «آیا مدل ما امن است؟» پرسش مهمتر این است: «آیا میتوانیم به دادهای که مدل بر اساس آن یاد گرفته و تصمیم میگیرد، اعتماد کنیم؟»
