از کاربرد AI در امنیت تا امنیت خود هوش مصنوعی؛ روایت کارشناسان در الکامپ

در سومین روز از بیست‌ونهمین نمایشگاه الکامپ، نشست «هوش مصنوعی و امنیت سایبری» با حضور وحید خدابخشی، مدیرعامل شرکت کاشف، صادق انصاری، مدیر امنیت و فناوری اطلاعات شرکت ملی انفورماتیک، حمیدرضا شهریاری، عضو هیئت علمی دانشگاه صنعتی امیرکبیر و حسام صالح‌پور، متخصص هوش مصنوعی سازمان ملل و دانش‌آموخته دانشگاه برن سوئیس برگزار شد.

واگذاری تصمیم‌گیری به ایجنت‌ها؛ وابسته به میزان ریسک

حمیدرضا شهریاری، عضو هیئت علمی دانشگاه صنعتی امیرکبیر، درباره میزان آمادگی برای واگذاری تصمیم‌گیری به ایجنت‌های هوش مصنوعی، این موضوع را وابسته به عوامل مختلفی می‌داند. به باور او، پیش از هر چیز باید مشخص شود هوش مصنوعی در چه حوزه‌هایی به سطح توانمندی و استدلال انسانی نزدیک شده و در چه زمینه‌هایی همچنان با محدودیت مواجه است.

به گفته شهریاری، اگرچه برخی معتقدند هوش مصنوعی در بعضی ابعاد به سطح توانمندی‌های انسانی رسیده، اما درباره این ادعا همچنان اختلاف‌نظر وجود دارد و در حوزه‌هایی، فاصله با سطح استدلال و تصمیم‌گیری انسانی قابل‌توجه است. اهمیت این موضوع زمانی بیشتر می‌شود که تصمیم‌های اتخاذشده توسط سیستم‌های هوش مصنوعی، پیامدهای جدی و حتی فاجعه‌باری به همراه داشته باشند.

او با تفکیک تصمیم‌های برگشت‌پذیر و برگشت‌ناپذیر توضیح می‌دهد که در برخی کاربردهای روزمره، خطای یک ایجنت هوش مصنوعی پیامد سنگینی ندارد و امکان اصلاح آن وجود دارد. برای مثال، بسیاری از امور شخصی یا برنامه‌ریزی‌های روزمره را می‌توان به ایجنت‌ها سپرد؛ چراکه در صورت بروز خطا، تصمیم قابل اصلاح و بازگشت است و ریسک بالایی ایجاد نمی‌کند.

با این حال، شرایط در حوزه‌های حساس و زیرساخت‌های حیاتی کاملاً متفاوت است. شهریاری نمونه‌ای از یک سیستم ایمنی در محیطی بسیار حساس را مطرح می‌کند که کنترل آن به ایجنت‌های هوش مصنوعی سپرده شده باشد. در چنین شرایطی، اگر یک تصمیم اشتباه به انفجار، از کار افتادن تجهیزات یا وقوع حادثه‌ای گسترده منجر شود، دیگر امکان بازگرداندن شرایط به وضعیت قبل وجود ندارد. از همین رو، در تصمیم‌های حساس و برگشت‌ناپذیر، مداخله انسانی همچنان ضروری است.

عضو هیئت علمی دانشگاه صنعتی امیرکبیر بر همین اساس، واگذاری اختیار به ایجنت‌های هوش مصنوعی را نیازمند یک رویکرد مبتنی بر ریسک می‌داند. به اعتقاد او، نمی‌توان یک سطح از اختیار را برای همه کاربردها در نظر گرفت؛ بلکه میزان دسترسی و استقلال ایجنت باید متناسب با پیامدهای احتمالی تصمیم‌های آن تعیین شود.

شهریاری در ادامه، موضوع را فراتر از توانمندی فنی ایجنت‌ها می‌برد و بر اهمیت حکمرانی هوش مصنوعی (AI Governance) تأکید می‌کند. حکمرانی هوش مصنوعی می‌تواند چارچوب و محدوده فعالیت ایجنت‌ها را مشخص کند و تعیین کند هر ایجنت تا چه سطحی اجازه تصمیم‌گیری، دسترسی و اقدام داشته باشد.

از نگاه او، شفافیت تصمیم‌های ایجنت‌ها نیز اهمیت زیادی دارد؛ زیرا سازمان باید بتواند درک کند یک ایجنت بر چه اساسی تصمیم گرفته و چه اختیاراتی در اختیار داشته است. یکی از نگرانی‌های جدی در این زمینه، سوءاستفاده از اختیارات اعطاشده به ایجنت‌هاست. در صورتی که یک مهاجم بتواند کنترل یا اختیار یک ایجنت را به دست بگیرد، دامنه اقداماتی که می‌تواند از طریق آن انجام دهد، به سطح دسترسی همان ایجنت وابسته خواهد بود.

به همین دلیل، شهریاری معتقد است امنیت ایجنت‌ها همچنان یکی از حوزه‌های نیازمند کار و توسعه جدی است و در شرایط فعلی نمی‌توان اختیار گسترده و بدون محدودیت را به این سیستم‌ها سپرد. در نهایت، سطح اختیار، میزان نظارت انسانی و سازوکارهای کنترلی باید متناسب با ریسک هر کاربرد تعیین شوند.

دو روی هوش مصنوعی؛ کاربرد در امنیت و امنیت خود AI

وحید خدابخشی، مدیرعامل شرکت کاشف، با اشاره به دو موضوع «کاربرد هوش مصنوعی در امنیت» و «امنیت هوش مصنوعی»، این دو حوزه را از مباحث داغ و رو به رشد صنعت می‌داند؛ هرچند به اعتقاد او، موضوع امنیت خودِ هوش مصنوعی هنوز نسبت به کاربرد آن در حوزه امنیت سایبری کمتر مورد توجه قرار گرفته است.

خدابخشی در تشریح کاربردهای هوش مصنوعی در امنیت سایبری، به پیشرفت‌های قابل‌توجه سال‌های اخیر اشاره می‌کند و به‌ویژه سه تا چهار ماه گذشته را دوره‌ای مهم در این زمینه می‌داند. به گفته او، اکنون مدل‌هایی توسعه یافته‌اند که بر مبنای داده‌های واقعی و شبیه‌سازی‌شده از حملات سایبری آموزش دیده‌اند. این داده‌ها طیف گسترده‌ای از اطلاعات، از ترافیک شبکه گرفته تا کدهای آسیب‌پذیر و نمونه‌هایی از نرم‌افزارهای مورد استفاده در محیط‌های واقعی را دربرمی‌گیرند.

او به نمونه‌ای از یک مدل هوش مصنوعی معرفی‌شده توسط متا اشاره می‌کند که توانمندی قابل‌توجهی در شناسایی آسیب‌پذیری‌ها داشت. به گفته خدابخشی، توانایی این مدل در کشف آسیب‌پذیری‌ها به اندازه‌ای بود که پس از مدتی، نهادهای امنیتی آمریکا محدودیت‌هایی برای استفاده عمومی از آن در نظر گرفتند و به سازمان‌های دولتی این کشور فرصت داده شد تا پیش از عمومی شدن گسترده ابزار، از یافته‌های آن برای ارتقای امنیت سامانه‌های خود استفاده کنند.

مدیرعامل شرکت کاشف، کاربردهای هوش مصنوعی در امنیت را به‌طور کلی در دو دسته قابل بررسی می‌داند؛ نخست، خودکارسازی فرایندها و گردش کار. در این بخش، هوش مصنوعی می‌تواند مجموعه‌ای از اقدامات روتین را که پیش‌تر توسط نیروی انسانی انجام می‌شد، برعهده بگیرد؛ از شناسایی و ثبت خودکار یک رویداد یا تیکت گرفته تا پیگیری و اجرای مراحل بعدی فرایند.

دسته دوم، شناسایی الگوها و طبقه‌بندی رخدادهاست. خدابخشی یادآوری می‌کند که پیش از ظهور هوش مصنوعی مولد نیز از یادگیری ماشین برای شناسایی الگوها استفاده می‌شد. در این روش، مدل با بررسی نمونه‌های قبلی می‌توانست یک وضعیت جدید را در یکی از دسته‌های از پیش تعریف‌شده قرار دهد؛ برای مثال، ترافیک شبکه را بر اساس ویژگی‌های آن در گروه‌های عادی، مشکوک یا خطرناک طبقه‌بندی کند.

به باور او، ظهور هوش مصنوعی مولد ظرفیت‌های تازه‌ای را در اختیار متخصصان امنیت قرار داده است. مدل‌های مولد به دلیل توانایی شبیه‌سازی برخی رفتارهای انسانی، مانند تولید متن، تصویر، موسیقی و ویدئو، می‌توانند در بخش‌های مختلف فرایندهای امنیتی نیز مورد استفاده قرار گیرند. هدف از این کاربردها، انجام بخشی از وظایفی است که پیش‌تر توسط متخصصان امنیت انجام می‌شد، اما با استفاده از داده‌ها و ویژگی‌های بیشتر و در برخی موارد با سرعت و دقت بالاتر.

با این حال، خدابخشی تأکید دارد که هنوز فاصله قابل‌توجهی با نقطه‌ای وجود دارد که بتوان تشخیص‌های امنیتی را به‌طور کامل و بدون نظارت انسانی به هوش مصنوعی سپرد. از نگاه او، مدل‌های فعلی بیش از آنکه جایگزین کامل نیروی متخصص باشند، دستیارانی قابل اتکا برای کارشناسان امنیت محسوب می‌شوند.

او بر ضرورت حفظ اصل Human-in-the-Loop یا نظارت انسانی تأکید کرده و معتقد است با رعایت این اصل، ظرفیت استفاده از هوش مصنوعی در امنیت بسیار بالاست. به گفته خدابخشی، در مجموعه‌هایی مانند شاپرک نیز از این فناوری در حوزه‌هایی همچون خودکارسازی فرایندها، تشخیص و دسته‌بندی رخدادها، بررسی کدهای مشکوک و شناسایی بخش‌های آسیب‌پذیر کد یا فرایندهای امنیتی استفاده می‌شود.

مدیرعامل شرکت کاشف در ادامه، وضعیت فعلی را ورود به دوره ایجنت‌های هوش مصنوعی توصیف می‌کند؛ سیستم‌هایی که می‌توانند مجموعه‌ای از وظایف مرتبط با امنیت سایبری را مانند یک مدیر یا کارشناس امنیت انجام دهند و در مراحل مختلف، برای تصمیم‌گیری از انسان بازخورد دریافت کنند.

خدابخشی معتقد است بسیاری از وظایفی که پیش از این به کارشناسان رده جونیور سپرده می‌شد، اکنون با ابزارهای هوش مصنوعی در دسترس عموم، حتی نمونه‌های متن‌باز، قابل انجام است. این تحول می‌تواند به‌تدریج شکل تقسیم کار میان نیروی انسانی و سیستم‌های هوش مصنوعی در تیم‌های امنیت سایبری را تغییر دهد.

ممیزی‌پذیری؛ شرط کنترل اقدامات هوش مصنوعی

صادق انصاری، مدیر امنیت و فناوری اطلاعات شرکت ملی انفورماتیک، با اشاره به وضعیت فعلی استفاده از هوش مصنوعی در حوزه امنیت سایبری، معتقد است باید میان کاربردهای واقعی و عملیاتی این فناوری و موج تبلیغاتی پیرامون آن تفاوت قائل شد. به باور او، بخشی از آنچه امروز در بازار با عنوان هوش مصنوعی عرضه می‌شود، توانسته ارزش عملیاتی ایجاد کند و بخشی دیگر همچنان در سطح بازاریابی و هایپ قرار دارد.

انصاری، وجود شواهد قابل‌اندازه‌گیری در محیط واقعی سازمان را یکی از مهم‌ترین معیارهای تشخیص کاربرد واقعی هوش مصنوعی می‌داند. صرف ارائه یک دموی موفق یا استفاده از برچسب «AI» برای یک محصول، نمی‌تواند نشان‌دهنده ارزش عملیاتی آن باشد؛ بلکه باید مشخص شود این فناوری در محیط واقعی سازمان تا چه اندازه به عملیات امنیت کمک کرده و کدام شاخص امنیتی را بهبود داده است.

او برای توضیح این موضوع، به مدیریت هشدارهای امنیتی اشاره می‌کند. در یک سازمان ممکن است هزاران هشدار مربوط به آسیب‌پذیری سامانه‌ها دریافت شود، اما ارزش واقعی هوش مصنوعی زمانی مشخص می‌شود که بتواند این هشدارها را تحلیل و اولویت‌بندی کند؛ برای نمونه، موارد حساس و آسیب‌پذیری‌هایی را که احتمال سوءاستفاده از آنها بیشتر است، شناسایی و در اولویت رسیدگی قرار دهد. در چنین شرایطی می‌توان اثر هوش مصنوعی بر عملیات امنیت را به‌صورت ملموس ارزیابی کرد.

مدیر امنیت و فناوری اطلاعات شرکت ملی انفورماتیک همچنین بر اهمیت قابلیت اندازه‌گیری تأکید دارد. از نگاه او، اگر نتوان میزان اثرگذاری یک ابزار هوش مصنوعی را با شاخص‌های مشخص سنجید، ادعای کاربردی بودن آن چندان قابل اتکا نیست. بنابراین مرز میان «هوش مصنوعی واقعی» و «هوش مصنوعی تبلیغاتی» باید در نهایت با خروجی آن در بستر سازمان، میزان اثرگذاری بر عملیات و شاخص‌های قابل‌اندازه‌گیری مشخص شود.

انصاری درباره میزان اتکای سازمان‌ها به هوش مصنوعی نیز رویکردی مبتنی بر ریسک را ضروری می‌داند. به اعتقاد او، نمی‌توان برای تمام فرایندهای سازمانی یک سطح ثابت از اختیار را برای هوش مصنوعی در نظر گرفت. سطح استفاده از این فناوری باید متناسب با ریسک هر اقدام تعیین شود.

او این فرایند را در چند سطح قابل تصور می‌داند؛ در پایین‌ترین سطح ریسک، هوش مصنوعی وظیفه بررسی داده‌ها و ارائه هشدار را برعهده دارد. در سطح بعدی، می‌تواند علاوه بر شناسایی رخداد، اقدام پیشنهادی نیز ارائه دهد؛ رویکردی که همچنان ریسک محدودی دارد. در فرایندهای حساس‌تر، اما انسان باید به‌عنوان حلقه تصمیم‌گیری در فرایند باقی بماند و اجرای اقدام پس از تأیید نیروی انسانی انجام شود.

به گفته انصاری، تنها در محدوده‌هایی که ریسک بسیار پایین است می‌توان اختیار انجام مستقیم اقدام را نیز به هوش مصنوعی سپرد. با این حال، حتی در چنین شرایطی نیز کنترل‌پذیری اهمیت زیادی دارد. هر اقدامی که توسط سیستم هوش مصنوعی انجام می‌شود باید قابلیت ممیزی داشته باشد تا مشخص شود چه داده‌ای در اختیار مدل قرار گرفته، چه پرامپتی استفاده شده، چه سطح دسترسی‌ای در اختیار آن بوده و در نهایت چه اقدامی انجام داده است.

او قابلیت بازگشت یا Rollback را یکی دیگر از الزامات استفاده از هوش مصنوعی در فرایندهای امنیتی می‌داند؛ به این معنا که در صورت بروز خطا، سازمان بتواند اقدام انجام‌شده را بررسی و در صورت امکان به وضعیت پیشین بازگرداند. از این منظر، هرچه ریسک یک فرایند بالاتر باشد، نیاز به نظارت انسانی، قابلیت ممیزی و امکان بازگشت نیز پررنگ‌تر خواهد شد.

داده‌ها؛ یکی از مهم‌ترین مسیرهای ورود مهاجمان

حسام صالح‌پور، متخصص هوش مصنوعی سازمان ملل متحد، با اشاره به روند توسعه و استفاده از هوش مصنوعی در سطح جهانی و سازمانی، معتقد است در سال‌های اخیر تحقیقات و پروژه‌های متعددی در این حوزه انجام شده و هوش مصنوعی توانسته ظرفیت‌های قابل‌توجهی را در اختیار سازمان‌ها قرار دهد.

صالح‌پور با تأکید بر اینکه نمی‌توان امنیت مطلقی برای سامانه‌های هوش مصنوعی تضمین کرد، امنیت سایبری را حوزه‌ای بدون تضمین صددرصدی می‌داند. از نگاه او، به جای تمرکز بر دستیابی به امنیت کامل، باید بر مدیریت مستمر ریسک و پایش مداوم تهدیدها تمرکز کرد.

او یکی از تهدیدهای مهم پیش روی سازمان‌ها را تلاش مهاجمان برای دسترسی به داده‌ها و ایجاد مسیرهای ورودی به سامانه‌های سازمانی عنوان می‌کند. به اعتقاد صالح‌پور، مهاجمان همواره به دنبال شناسایی نقاطی هستند که بتوان از طریق آنها به داده‌ها و اطلاعات سازمان دسترسی پیدا کرد و از این مسیر، راه نفوذی برای ورود به سیستم ایجاد کرد.

متخصص هوش مصنوعی سازمان ملل، امنیت هوش مصنوعی را موضوعی فراتر از امنیت خود مدل می‌داند. به باور او، برای تأمین امنیت این فناوری باید کل چرخه عمر آن مورد توجه قرار گیرد؛ از نحوه دسترسی افراد به داده‌ها و شیوه نگهداری و حفاظت از اطلاعات گرفته تا حریم خصوصی داده‌ها، حفاظت از داده و چارچوب‌های حکمرانی هوش مصنوعی.

او تأکید می‌کند که در سطح سازمانی باید مشخص باشد چه فرد یا واحدی به داده‌های مورد استفاده در سامانه‌های هوش مصنوعی دسترسی دارد، این دسترسی چگونه مدیریت می‌شود و چه سازوکارهایی برای حفاظت از داده‌ها در نظر گرفته شده است. در این میان، Data Privacy، Data Protection و AI Governance از جمله محورهایی هستند که باید در طراحی و بهره‌برداری از سامانه‌های هوش مصنوعی مورد توجه قرار گیرند.

صالح‌پور همچنین بر اهمیت ثبت و مستندسازی فرایندها تأکید دارد؛ چراکه متخصصان امنیت در آینده باید بتوانند مسیر استفاده از داده‌ها، نحوه حفاظت از آنها و تصمیم‌های اتخاذشده در چرخه عمر سیستم را بررسی و ارزیابی کنند.

از نگاه او، اقداماتی مانند کنترل دسترسی، ارزیابی‌های امنیتی و پایش مستمر (Continuous Monitoring) باید به بخش جدایی‌ناپذیر استفاده سازمانی از هوش مصنوعی تبدیل شوند. این الزامات، چه در سطح سازمان‌های بین‌المللی و چه در سطح کشورهای اروپایی و سایر ساختارهای سازمانی، نقشی اساسی در مدیریت ریسک‌های امنیتی ناشی از توسعه هوش مصنوعی دارند.

صالح‌پور در نهایت بر این نکته تأکید دارد که امنیت هوش مصنوعی نباید به بررسی یک مدل یا ابزار در زمان عرضه محدود شود، بلکه باید به‌صورت مستمر و در تمام چرخه عمر فناوری دنبال شود؛ رویکردی که امکان شناسایی به‌موقع تهدیدها و مدیریت ریسک‌های جدید را فراهم می‌کند.