۴۰۰ دانشمند خواستار نظارت بین‌المللی بر هوش مصنوعی با قابلیت‌های سایبری شدند
حدود ۴۰۰ دانشمند خواستار نظارت بین‌المللی بر هوش مصنوعی پیشرفته شده‌اند. پیشنهادهای آن‌ها برای مهار مدل‌ها و کاهش خطرات سایبری چیست؟
حدود ۴۰۰ دانشمند از ۳۴ کشور جهان، از جمله جفری هینتون و یوشوا بنجیو، خواستار ایجاد نهادی بین‌المللی برای تعیین استانداردهای مهار هوش مصنوعی پیشرفته و ثبت حوادث امنیتی مرتبط با آن شده‌اند. این پیشنهاد در شرایطی مطرح شده است که نگرانی‌ها درباره توانایی برخی مدل‌های پیشرفته در عبور از محیط‌های آزمایشی محدود و تأثیرگذاری بر سامانه‌های خارجی افزایش یافته است. محور اصلی این درخواست، تنها کنترل قابلیت‌های هوش مصنوعی نیست؛ بلکه ایجاد سازوکارهایی برای جلوگیری از تبدیل توانایی‌های فنی این سیستم‌ها به خطرات مهارنشده سایبری است.
چرا مهار هوش مصنوعی به مسئله امنیت سایبری تبدیل شده است؟
هوش مصنوعی در امنیت سایبری هم ابزاری برای دفاع است و هم می‌تواند در اختیار مهاجمان قرار بگیرد. این فناوری می‌تواند به تحلیل کد، شناسایی آسیب‌پذیری‌ها، بررسی رخدادها و تسریع پاسخ به حملات کمک کند. در سوی دیگر، همین قابلیت‌ها ممکن است برای توسعه کدهای مخرب، شناسایی نقاط ضعف سامانه‌ها و خودکارسازی بخش‌هایی از عملیات تهاجمی نیز استفاده شوند.
نگرانی اصلی درباره مدل‌های پیشرفته، صرفاً تولید پاسخ یا کد نیست؛ بلکه توانایی احتمالی آن‌ها در انجام زنجیره‌ای از وظایف، استفاده از ابزارهای بیرونی و تعامل با محیط‌های دیجیتال است. اگر چنین مدلی به ابزارهای اجرایی، اطلاعات حساس یا شبکه‌های سازمانی دسترسی داشته باشد، یک خطای طراحی، ضعف در کنترل دسترسی یا خروج از محدوده تعیین‌شده می‌تواند پیامدهایی فراتر از یک پاسخ اشتباه ایجاد کند.
البته قابلیت انجام یک وظیفه فنی به معنای توانایی اجرای مستقل و موفق یک حمله پیچیده نیست. میزان خطر به توانایی واقعی مدل، سطح دسترسی آن، نحوه اتصال به ابزارها و کیفیت سازوکارهای کنترلی بستگی دارد.
پیشنهاد دانشمندان چیست؟
بر اساس گزارش رویترز در ۱۳ اکتبر ۲۰۲۶، امضاکنندگان این بیانیه خواستار تشکیل نهادی بین‌المللی شده‌اند که بتواند استانداردهای مشترکی برای مهار مدل‌های پیشرفته و گزارش‌دهی حوادث امنیتی تعیین کند. آن‌ها همچنین پیشنهاد کرده‌اند پایگاهی برای ثبت حوادث مهم مرتبط با امنیت این سیستم‌ها ایجاد شود؛ پایگاهی که اطلاعات آن در نهایت در دسترس عموم قرار گیرد.
یکی از پیشنهادهای اصلی، جداسازی اولیه مدل‌های پیشرفته از شبکه‌های خارجی است. این روش که با اصطلاح Air-gapping شناخته می‌شود، با قطع یا محدودکردن ارتباط مستقیم یک سیستم با شبکه‌های دیگر، احتمال دسترسی ناخواسته یا گسترش پیامدهای یک رخداد را کاهش می‌دهد. پژوهشگران همچنین بر نظارت مستقل و اجرای استانداردهای سخت‌گیرانه‌تر هنگام توسعه و آزمایش مدل‌های برخوردار از قابلیت‌های سایبری تأکید کرده‌اند.
این پیشنهادها هنوز به معنای تشکیل قطعی یک نهاد بین‌المللی یا اجرایی‌شدن یک استاندارد الزام‌آور نیستند. درخواست دانشمندان، ایجاد چارچوبی هماهنگ است تا توسعه‌دهندگان و دولت‌ها برای ارزیابی و مهار خطرات، به مجموعه‌ای از معیارهای مشترک تکیه کنند.
ثبت حوادث امنیتی هوش مصنوعی چه فایده‌ای دارد؟
ثبت حوادث امنیتی می‌تواند به شناسایی الگوهایی کمک کند که در گزارش‌های پراکنده شرکت‌ها یا آزمایشگاه‌ها به‌سادگی دیده نمی‌شوند. برای مثال، اگر چند سازمان در آزمایش مدل‌های پیشرفته با ضعف مشابهی در محدودسازی دسترسی یا کنترل ابزارها روبه‌رو شوند، ثبت و بررسی هماهنگ این رخدادها می‌تواند به شناسایی یک مشکل مشترک و اصلاح آن کمک کند.
انتشار عمومی اطلاعات نیز امکان بررسی مستقل و پاسخ‌گویی بیشتر را فراهم می‌کند؛ هرچند این شفافیت باید با حفاظت از اطلاعات حساس، جزئیات قابل سوءاستفاده و داده‌های محرمانه سازمان‌ها همراه باشد. گزارش یک رخداد نباید به انتشار دستورالعملی تبدیل شود که مهاجمان بتوانند از آن برای تکرار همان حمله استفاده کنند.
بنابراین، ارزش چنین پایگاهی تنها به تعداد حوادث ثبت‌شده وابسته نیست؛ بلکه به کیفیت بررسی فنی، امکان راستی‌آزمایی، حفاظت از اطلاعات حساس و تبدیل یافته‌ها به اقدامات اصلاحی بستگی دارد.
سازمان‌ها چه اقداماتی باید انجام دهند؟
صرف‌نظر از اینکه پیشنهاد تشکیل نهاد بین‌المللی چه زمانی به نتیجه برسد، سازمان‌هایی که از ابزارهای هوش مصنوعی در فرایندهای کاری یا امنیتی استفاده می‌کنند، می‌توانند از همین حالا چند اقدام عملی را در دستور کار قرار دهند:
-
دسترسی محدود: ابزارهای هوش مصنوعی را فقط به اطلاعات، حساب‌ها و سامانه‌هایی متصل کنید که برای انجام وظیفه به آن‌ها نیاز دارند.
-
کنترل اجرای دستورات: برای اقداماتی مانند اجرای کد، تغییر تنظیمات، حذف اطلاعات یا ارسال داده به خارج از سازمان، تأیید انسانی و محدودیت‌های مشخص در نظر بگیرید.
-
جداسازی محیط آزمایش: مدل‌ها و ابزارهای آزمایشی را از شبکه عملیاتی و داده‌های واقعی حساس جدا نگه دارید و از محیط‌های کنترل‌شده استفاده کنید.
-
ثبت فعالیت‌ها: درخواست‌ها، فراخوانی ابزارها، تغییرات مهم و تلاش‌های ناموفق برای دسترسی را متناسب با الزامات حریم خصوصی ثبت و بررسی کنید.
-
آمادگی برای رخداد: مشخص کنید در صورت رفتار غیرمنتظره یک عامل هوش مصنوعی، چه کسی اختیار قطع دسترسی آن را دارد و چگونه دسترسی‌ها لغو و سامانه به وضعیت امن بازگردانده می‌شود.
این اقدامات جایگزین ارزیابی تخصصی امنیتی نیستند؛ اما می‌توانند احتمال گسترش پیامدهای یک خطا یا سوءاستفاده را کاهش دهند.
مسئله فقط توانایی هوش مصنوعی نیست؛ میزان اختیار آن هم مهم است
درخواست ۴۰۰ دانشمند، بحث مهمی را در امنیت سایبری برجسته می‌کند: ارزیابی مدل‌های پیشرفته نباید تنها بر کیفیت پاسخ‌ها یا توانایی حل مسائل متمرکز باشد. نحوه اتصال مدل به شبکه، ابزارهای در دسترس، محدوده مجوزها، امکان نظارت مستقل و شیوه گزارش‌دهی حوادث نیز باید بخشی از ارزیابی امنیتی باشد. برای سازمان‌ها و کاربران، نتیجه عملی روشن است: هرچه ابزار هوش مصنوعی اختیار بیشتری برای انجام کارهای واقعی داشته باشد، محدودسازی دسترسی، ثبت فعالیت‌ها و امکان توقف سریع آن اهمیت بیشتری پیدا می‌کند. توسعه این فناوری بدون سازوکارهای متناسب با توانایی‌هایش، می‌تواند ریسک‌هایی ایجاد کند که مهار آن‌ها پس از وقوع حادثه دشوارتر است.
