امنیت هوش مصنوعی از داده تا مدل؛ نگاهی به رویکرد NIST، Google و Microsoft

گسترش سرویس‌های مبتنی بر هوش مصنوعی، تعریف امنیت را از حفاظت صرف از نرم‌افزار فراتر برده است. چارچوب‌هایی مانند NIST، Google SAIF و Microsoft SDL تأکید دارند که امنیت هوش مصنوعی باید از مرحله تعریف نیاز و انتخاب داده و مدل آغاز شود و در توسعه، ارزیابی، استقرار و بهره‌برداری نیز به‌صورت مستمر دنبال شود.

در سیستم‌های سنتی، بسیاری از ملاحظات امنیتی پیرامون کد، زیرساخت، شبکه و کنترل دسترسی شکل می‌گیرد. بااین‌حال، در سامانه‌های هوش مصنوعی، داده، مدل، فرایند آموزش و حتی نحوه تعامل کاربر با مدل به بخشی از سطح حمله تبدیل می‌شوند. بدین‌ترتیب، امنیت نباید تنها یک مرحله پیش از عرضه سرویس باشد.

NIST در چارچوب اختصاصی خود برای توسعه ایمن هوش مصنوعی مولد، ملاحظات امنیتی مرتبط با مدل‌های هوش مصنوعی را در سراسر چرخه توسعه نرم‌افزار دنبال می‌کند. از سوی دیگر، Google در چارچوب SAIF ریسک‌ها و کنترل‌های امنیتی را در چهار حوزه داده، زیرساخت، مدل و اپلیکیشن بررسی می‌کند. مایکروسافت نیز با توسعه Security Development Lifecycle برای دنیای مبتنی بر هوش مصنوعی، بر وارد کردن ملاحظات امنیتی در مراحل مختلف توسعه و استقرار تأکید دارد.

امنیت هوش مصنوعی باید از زمان تعریف مسئله آغاز شود

یکی از نخستین نقاطی که امنیت باید وارد چرخه توسعه شود، مرحله‌ای است که سازمان هنوز سرویس هوش مصنوعی خود را نساخته و در حال تعیین مسئله و نیازمندی‌های آن است. گوگل در راهنمای توسعه امن هوش مصنوعی خود چرخه توسعه را با شناسایی مسئله و تعیین کاربرد مورد نظر آغاز می‌کند، سپس به انتخاب و آماده‌سازی داده، زیرساخت، مدل و اپلیکیشن می‌پردازد. از این نظر، تصمیم‌هایی که در مراحل اولیه گرفته می‌شوند، می‌توانند در مراحل بعدی پیامدهای امنیتی داشته باشند.

برای مثال، انتخاب منبع داده، نحوه جمع‌آوری و پردازش آن و مشخص کردن این‌که چه اطلاعاتی قرار است وارد فرایند آموزش یا ارزیابی مدل شود، فقط تصمیم‌های فنی نیستند. داده‌های نامعتبر یا دستکاری‌شده می‌توانند به مسائلی مانند مسموم‌سازی داده منجر شوند و داده‌های حساس نیز می‌توانند ریسک‌های افشای اطلاعات را افزایش دهند.

NIST نیز در SP 800-218A، چارچوب توسعه امن نرم‌افزار خود را با ملاحظات اختصاصی مدل‌های مولد و مدل‌های پایه تکمیل کرده است تا فعالیت‌های امنیتی مرتبط با توسعه این مدل‌ها در چرخه توسعه نرم‌افزار لحاظ شوند.

داده؛ یکی از نقاط اصلی امنیت سرویس‌های هوش مصنوعی

در سیستم‌های هوش مصنوعی، داده فقط ورودی یک نرم‌افزار نیست؛ بخشی از چیزی است که رفتار مدل را شکل می‌دهد. به همین دلیل، حفاظت از داده‌های آموزشی و ارزیابی باید هم‌زمان با توسعه مدل مورد توجه قرار گیرد.

Google SAIF چهار حوزه اصلی را برای بررسی امنیت سیستم‌های AI در نظر می‌گیرد: داده، زیرساخت، مدل و اپلیکیشن. در همین چارچوب، کنترل‌هایی مانند مدیریت داده‌های آموزشی، حفاظت از یکپارچگی داده و مدل و محدود کردن دسترسی به داده‌ها و مدل‌ها پیشنهاد شده است.

یکی از تهدیدهایی که در این مرحله اهمیت پیدا می‌کند، Data Poisoning یا مسموم‌سازی داده است. در این سناریو، مهاجم داده‌های مورد استفاده برای آموزش یا بازآموزی مدل را تغییر می‌دهد یا داده مخرب وارد فرایند می‌کند تا عملکرد مدل تغییر کند یا حتی رفتارهای ناخواسته‌ای در آن ایجاد شود. SAIF این تهدید را یکی از ریسک‌های مرتبط با چرخه توسعه هوش مصنوعی معرفی می‌کند.

امنیت مدل و زیرساخت؛ زنجیره‌ای که نباید نادیده گرفته شود

امنیت سرویس هوش مصنوعی به خود مدل محدود نمی‌شود. کتابخانه‌های یادگیری ماشین، کدهای مورد استفاده برای آموزش، زیرساخت پردازشی، مخازن داده و محیطی که مدل در آن اجرا می‌شود نیز بخشی از زنجیره امنیتی سرویس هستند.

راهنمای Google SAIF تأکید می‌کند که چارچوب‌ها و کتابخانه‌های یادگیری ماشین می‌توانند بخشی از زنجیره تأمین نرم‌افزار باشند و آسیب‌پذیری یا به خطر افتادن آن‌ها می‌تواند بر مدل تولیدشده اثر بگذارد. به همین دلیل، کنترل دسترسی، امنیت شبکه، مدیریت آسیب‌پذیری و یکپارچگی زنجیره تأمین همچنان در توسعه سیستم‌های AI اهمیت دارند.

در همین راستا، SAIF کنترل‌هایی برای حفاظت از یکپارچگی داده، مدل و کد مورد استفاده در فرایند توسعه و استقرار پیشنهاد می‌کند و بر استفاده از ابزارهای یادگیری ماشین با تنظیمات امن پیش‌فرض تأکید دارد.

پیش از استقرار، مدل باید ارزیابی امنیتی شود

یکی دیگر از نقاط مهم چرخه عمر سرویس، مرحله ارزیابی پیش از استقرار است. در این مرحله، بررسی عملکرد مدل و دقت پاسخ‌ها کافی نیست و باید مشخص شود مدل در برابر تهدیدهای امنیتی چگونه رفتار می‌کند.

راهنمای توسعه امن هوش مصنوعی گوگل، ارزیابی مدل را مشابه آزمون‌های یکپارچه‌سازی و پذیرش در توسعه نرم‌افزار در نظر می‌گیرد و بر بررسی مدل پیش از ورود به محیط عملیاتی تأکید دارد. این ارزیابی‌ها می‌توانند موضوعاتی مانند حفظ حریم خصوصی و میزان به‌خاطرسپاری اطلاعات حساس توسط مدل را نیز دربر بگیرند.

در این مرحله، سنجش رفتار مدل در برابر ورودی‌های مخرب نیز اهمیت پیدا می‌کند؛ زیرا در سیستم‌های مولد، نحوه تعامل کاربر با مدل می‌تواند خود به یک مسیر حمله تبدیل شود.

استقرار پایان مسیر امنیت نیست

با استقرار سرویس، فرایند امنیت به پایان نمی‌رسد. مدل در محیط واقعی با کاربران، داده‌های جدید، APIها، سرویس‌های دیگر و گاهی ابزارهای خارجی تعامل دارد و همین تعاملات می‌توانند سطح حمله را تغییر دهند.

Google SAIF تأکید می‌کند که ریسک‌ها در طول چرخه توسعه هوش مصنوعی تغییر می‌کنند و برای آن‌ها باید کنترل‌های متناظر در نظر گرفته شود. در این چارچوب، تهدیدهایی مانند Prompt Injection، Data Poisoning، Model Exfiltration و افشای اطلاعات حساس مورد توجه قرار گرفته‌اند.

مایکروسافت نیز در نسخه جدید رویکرد SDL خود برای محیط‌های مبتنی بر هوش مصنوعی، بر ماهیت پویا و مستمر امنیت تأکید می‌کند. این شرکت معتقد است تهدیدهای AI با تهدیدهای سنتی تفاوت‌هایی دارند و مواردی مانند Prompt Injection، دستکاری حافظه و افشای داده می‌توانند نیازمند کنترل‌های امنیتی متفاوتی باشند.

Microsoft SDL؛ امنیت از نیازمندی تا پاسخ به رخداد

رویکرد Microsoft Security Development Lifecycle نمونه‌ای از نگاه چرخه‌ای به امنیت است. در SDL، امنیت و حریم خصوصی نباید به‌عنوان اقدامی پس از توسعه محصول در نظر گرفته شوند و باید در نقاط مختلف چرخه عمر محصول مورد توجه قرار گیرند.

مراحل اصلی این رویکرد شامل آموزش، تعیین نیازمندی‌ها، طراحی، پیاده‌سازی، راستی‌آزمایی، انتشار و پاسخ به رخداد است. در نتیجه، امنیت فقط به زمان نوشتن کد یا پیش از انتشار محدود نمی‌شود و فعالیت‌های امنیتی پس از عرضه محصول نیز بخشی از این چرخه هستند.

مایکروسافت در رویکرد جدید خود برای SDL در دنیای مبتنی بر هوش مصنوعی نیز همین نگاه را گسترش داده و می‌گوید سیاست‌ها و استانداردهای امنیتی باید در مراحل توسعه و استقرار وارد فرایند شوند و با یافته‌های حاصل از تحقیقات و رخدادهای واقعی به‌روزرسانی شوند.

سه چارچوب، یک نگاه مشترک

اگر NIST، Google SAIF و Microsoft SDL را کنار یکدیگر قرار دهیم، نقطه مشترک آن‌ها این است که امنیت هوش مصنوعی را نمی‌توان به یک کنترل امنیتی در پایان پروژه تقلیل داد.

NIST، ملاحظات اختصاصی هوش مصنوعی را به چارچوب توسعه امن نرم‌افزار اضافه می‌کند. Google SAIF، سطح حمله را از مدل فراتر می‌برد و داده، زیرساخت، مدل و اپلیکیشن را در کنار یکدیگر بررسی می‌کند. در Microsoft SDL نیز امنیت را به مجموعه‌ای از فعالیت‌های مستمر در طول چرخه توسعه، استقرار و عملیات تبدیل می‌کند.

بنابراین، در یک سرویس مبتنی بر هوش مصنوعی، امنیت را باید از زمان تعریف مسئله و نیازمندی‌ها در نظر گرفت؛ در مرحله انتخاب و آماده‌سازی داده و مدل ادامه داد؛ هنگام توسعه و ارزیابی، تهدیدها و آسیب‌پذیری‌ها را بررسی کرد؛ در زمان استقرار، یکپارچگی مدل و زیرساخت را کنترل کرد و پس از ورود سرویس به محیط عملیاتی نیز با پایش، مدیریت آسیب‌پذیری و پاسخ به رخداد، این چرخه را ادامه داد.

در چنین رویکردی، امنیت دیگر یک مرحله جداگانه در انتهای فرایند توسعه نیست؛ بلکه یکی از الزامات همراه سرویس از آغاز تا پایان چرخه عمر آن است.