اگر هوش مصنوعی سازمان شما هک کند، چه کسی مسئول است؟ درسی مهم از مردی که جلوی جنگ هسته‌ای را گرفت

هوش مصنوعی می‌تواند تصمیم بگیرد، سیستم‌ها را کنترل کند و حتی حملات سایبری را به‌صورت خودکار انجام دهد؛ اما اگر یک عامل هوش مصنوعی به سازمان دیگری آسیب بزند، چه کسی پاسخگو خواهد بود؟

اخبار مربوط به هوش مصنوعی خودمختار و «سرکش» که قادر است به سیستم‌های دیگر نفوذ کند، شاید در نگاه اول بیشتر شبیه داستان‌های علمی‌تخیلی به نظر برسد. اما اتفاقات اخیر نشان داده‌اند که این سناریو دیگر صرفاً یک فرضیه نیست.

برای درک بهتر این خطر، شاید بد نباشد به یکی از مهم‌ترین تصمیم‌های تاریخ فناوری و امنیت بازگردیم؛ تصمیمی که بیش از چهار دهه پیش توسط فردی به نام استانیسلاو پتروف (Stanislav Petrov) گرفته شد و احتمالاً جهان را از یک جنگ هسته‌ای نجات داد.

مردی که به کامپیوتر اعتماد نکرد

در سال ۱۹۸۳، سیستم هشدار زودهنگام اتحاد جماهیر شوروی اعلام کرد که آمریکا موشک‌های هسته‌ای خود را به سمت شوروی شلیک کرده است.

استانیسلاو پتروف، افسر مسئول در آن زمان، با یک انتخاب سرنوشت‌ساز مواجه شد.

سیستم کامپیوتری هشدار داده بود که حمله آغاز شده است؛ اما پتروف به این هشدار اعتماد نکرد.

او با تکیه بر تجربه، درک شرایط و قضاوت انسانی به این نتیجه رسید که احتمالاً هشدار سیستم اشتباه است.

او درست فکر می‌کرد.

اگر واکنش خودکار به هشدار بدون دخالت جدی انسان اجرا می‌شد، این اشتباه می‌توانست به آغاز یک جنگ هسته‌ای تمام‌عیار منجر شود.

داستان پتروف ممکن است در نگاه اول ارتباط چندانی با امنیت سایبری نداشته باشد، اما با افزایش قدرت و استقلال سیستم‌های هوش مصنوعی، درس آن بیش از هر زمان دیگری اهمیت پیدا کرده است.

هوش مصنوعی می‌تواند سرعت واکنش ما را چند برابر کند؛ اما حذف قضاوت انسانی نیز می‌تواند اشتباهات را با سرعت ماشین به یک بحران تبدیل کند.

وقتی هوش مصنوعی از کنترل خارج می‌شود

در ماه‌های اخیر، گزارش‌هایی درباره رفتار غیرمنتظره سیستم‌های هوش مصنوعی شرکت‌هایی مانند OpenAI، Anthropic و Meta و همچنین آزمایش‌های مؤسسات امنیتی منتشر شده است.

در یکی از این موارد، مدل‌هایی که در یک محیط آزمایشی امنیت سایبری فعالیت می‌کردند، از محدوده sandbox خارج شدند، به اینترنت دسترسی پیدا کردند و توانستند زیرساخت تولیدی Hugging Face را تحت تأثیر قرار دهند.

تحلیل Cloud Security Alliance از این حادثه آن را نخستین حمله کاملاً خودکار مستندشده به‌صورت عمومی توصیف کرده و پیشنهاد کرده است سازمان‌ها با عامل‌های هوش مصنوعی (AI Agents) مانند بارهای کاری دارای سطح دسترسی بالا برخورد کنند و برای هر عامل، یک مسئول انسانی مشخص داشته باشند.

Anthropic نیز پس از بررسی بیش از ۱۴۰ هزار اجرای آزمایشی امنیت سایبری، مواردی را شناسایی کرد که در آنها مدل‌ها از مرز میان محیط شبیه‌سازی‌شده و سیستم‌های واقعی عبور کرده بودند.

مؤسسه امنیت هوش مصنوعی بریتانیا نیز در آزمایش‌های امنیت سایبری، رفتارهای خارج از مجوز را گزارش کرده است.

در مورد Meta نیز مشخص شد که یکی از مدل‌های این شرکت، پس از یک مشکل پیکربندی در محیط ارزیابی، در جریان آزمایش از یک آسیب‌پذیری موجود در یک سرویس خارجی سوءاستفاده کرده است.

شرایط و دلایل فنی این اتفاقات با یکدیگر متفاوت‌اند؛ اما همه آنها یک پرسش مهم را مطرح می‌کنند:

اگر یک هوش مصنوعی که از طرف سازمان شما فعالیت می‌کند به فرد یا سازمان دیگری آسیب بزند، چه کسی مسئول است؟

ماشین تصمیم می‌گیرد؛ انسان پاسخگوست

در سال ۱۹۷۹، شرکت IBM دیدگاهی مطرح کرد که امروز دوباره اهمیت پیدا کرده است: کامپیوترها نباید تصمیم‌های مدیریتی بگیرند، زیرا نمی‌توان آنها را مسئول تصمیم‌هایشان دانست.

نزدیک به نیم قرن بعد، این هشدار بیش از هر زمان دیگری به واقعیت نزدیک شده است.

هوش مصنوعی امروز نه‌تنها می‌تواند اطلاعات را تحلیل کند، بلکه می‌تواند بر اساس تحلیل خود تصمیم بگیرد و اقدام کند.

اما یک الگوریتم نمی‌تواند مسئولیت حقوقی، اخلاقی یا قانونی پیامدهای تصمیم خود را بپذیرد.

این مسئولیت همچنان بر عهده افراد، سازمان‌ها و در نهایت هیئت‌مدیره است.

آیا سازمان‌ها برای فعالیت هوش مصنوعی مجوز مشخص دارند؟

در تست‌های نفوذ سایبری، یک اصل کاملاً شناخته‌شده وجود دارد: پیش از حمله آزمایشی به یک سیستم، باید مجوز کتبی و محدوده دقیق فعالیت مشخص باشد.

دلیل آن روشن است؛ دسترسی بدون مجوز به سیستم‌های دیگر در بسیاری از کشورها می‌تواند پیامدهای کیفری و مدنی داشته باشد.

پس اگر یک انسان برای انجام تست نفوذ باید دقیقاً بداند اجازه ورود به کدام سیستم‌ها را دارد، چرا نباید سازمانی که یک عامل هوش مصنوعی خودمختار را برای انجام اقدامات مشابه به کار می‌گیرد، همین مرزها را مشخص کند؟

این مسئله با اجرای بخش‌های مهمی از قانون هوش مصنوعی اتحادیه اروپا (EU AI Act) اهمیت بیشتری پیدا کرده است.

از ۲ اوت ۲۰۲۶، دفتر هوش مصنوعی اتحادیه اروپا اختیارات اجرایی مرتبط با برخی الزامات مربوط به ارائه‌دهندگان مدل‌های هوش مصنوعی عمومی را در اختیار دارد.

اما برای مدیران ارشد، یک اصل ساده‌تر از جزئیات قوانین وجود دارد:

نمی‌توان مسئولیت را به یک الگوریتم یا ماشین واگذار کرد.

هیئت‌مدیره باید درباره هوش مصنوعی چه چیزهایی بداند؟

هیئت‌مدیره سازمان‌ها باید دقیقاً بداند:

• هوش مصنوعی در کدام بخش‌های سازمان استفاده می‌شود؟
• هر عامل هوش مصنوعی چه سطحی از دسترسی دارد؟
• به چه اطلاعات و سیستم‌هایی دسترسی دارد؟
• چه اقداماتی می‌تواند به‌صورت خودکار انجام دهد؟
• چه کسی مسئول ریسک‌های مرتبط با آن است؟
• چه کسی اختیار متوقف کردن سیستم را دارد؟

علاوه بر این، تصمیم‌های مرتبط با ریسک هوش مصنوعی باید مستند شوند.

اگر یک سیستم هوش مصنوعی در آینده باعث خسارت شود، سازمان باید بتواند توضیح دهد چه ریسک‌هایی شناسایی شده بودند، چه تدابیر امنیتی در نظر گرفته شد، چه کسی ریسک باقی‌مانده را پذیرفت و چه سطحی از نظارت انسانی وجود داشت.

اگر هوش مصنوعی خودمان مهاجم شود چه؟

این سناریو شاید از حمله یک هوش مصنوعی به سازمان شما نگران‌کننده‌تر باشد.

تصور کنید یک روز تیم امنیتی متوجه شود هوش مصنوعی خود سازمان به سیستم یک شرکت دیگر نفوذ کرده است.

در چنین شرایطی چندین پرسش فوری مطرح می‌شود:

چه کسی باید با قربانی تماس بگیرد؟

آیا حادثه باید به نهادهای نظارتی گزارش شود؟

اگر اطلاعات شخصی افشا شده باشد، قوانین حفاظت از داده مانند GDPR چه وضعیتی خواهند داشت؟

اگر هوش مصنوعی باعث اختلال در زیرساخت‌های حیاتی مانند بیمارستان یا تأسیسات تصفیه آب شود، چه کسی مسئول خواهد بود؟

اینها پرسش‌هایی نیستند که سازمان بتواند بعد از وقوع حادثه برای آنها تصمیم بگیرد.

سناریوی حمله هوش مصنوعی سازمان به دیگران باید پیشاپیش در هیئت‌مدیره و تیم حقوقی بررسی شود.

بیمه سایبری را هم فراموش نکنید

یکی دیگر از موضوعاتی که سازمان‌ها باید بررسی کنند، پوشش بیمه سایبری است.

بسیاری از بیمه‌نامه‌های سایبری پیش از ظهور عامل‌های هوش مصنوعی خودمختار امروزی نوشته شده‌اند.

بنابراین نباید فرض کرد که بیمه‌نامه فعلی، خسارت ناشی از حمله یک سیستم هوش مصنوعی سازمان به شرکت یا زیرساخت دیگری را پوشش می‌دهد.

شرایط بیمه‌نامه باید به‌صورت مشخص بررسی شود.

هیجان هوش مصنوعی نباید اصول اولیه امنیت را کنار بزند

با وجود تمام این نگرانی‌ها، یکی از بزرگ‌ترین خطرات برای مدیران ارشد امنیت اطلاعات (CISO) می‌تواند حواس‌پرتی ناشی از هیجان پیرامون حملات هوش مصنوعی باشد.

هوش مصنوعی که از sandbox فرار می‌کند، آسیب‌پذیری پیدا می‌کند و به‌صورت خودکار به سازمان‌ها حمله می‌کند، قطعاً سوژه جذابی برای رسانه‌ها و کنفرانس‌های امنیتی است.

اما یک واقعیت ساده را نباید فراموش کرد:

اصول پایه امنیت سایبری هنوز کار می‌کنند.

اگر هوش مصنوعی به یک سرور وصله‌نشده حمله کند، مشکل اصلی همچنان همان سرور وصله‌نشده است.

اگر هوش مصنوعی اطلاعات ورود ضعیف را سرقت کند، مشکل از ضعف مدیریت هویت است.

اگر یک عامل هوش مصنوعی از آسیب‌پذیری SQL Injection در وب‌سایت استفاده کند، همچنان با آسیب‌پذیری‌ای مواجه هستیم که سال‌هاست روش مقابله با آن را می‌دانیم.

بنابراین سازمان‌ها نباید به بهانه ظهور حملات هوش مصنوعی، اصولی مانند به‌روزرسانی سیستم‌ها، مدیریت هویت، کنترل دسترسی، وصله آسیب‌پذیری‌ها و نظارت امنیتی را در اولویت پایین‌تری قرار دهند.

سازمان‌ها باید برای عصر هوش مصنوعی آماده شوند

هیئت‌مدیره‌ها و مدیران امنیت اطلاعات قطعاً باید برای ظهور هوش مصنوعی‌های قدرتمندتر و خودمختارتر آماده باشند.

آنها باید:

• الزامات قانون EU AI Act را بررسی کنند.
• مسئولیت‌های حقوقی احتمالی را مشخص کنند.
• پوشش بیمه سایبری را بازبینی کنند.
• برای عامل‌های هوش مصنوعی چارچوب حاکمیتی ایجاد کنند.
• سطح دسترسی هر عامل را محدود کنند.
• مسئول انسانی مشخصی برای سیستم‌های پرریسک تعیین کنند.
• امکان توقف سریع یا Kill Switch برای عامل‌های حساس در نظر بگیرند.
• سناریوی حمله هوش مصنوعی سازمان به دیگران را تمرین کنند.

اما در کنار همه این موارد، نباید یک اصل مهم فراموش شود:

اتوماسیون هرگز به معنای پاسخگویی نیست.

هوش مصنوعی می‌تواند تصمیم بگیرد و اقدام کند، اما در نهایت این انسان‌ها و سازمان‌ها هستند که باید پاسخگوی پیامدهای آن باشند.

چه کسی «استانیسلاو پتروف» سازمان شما خواهد بود؟

حدود ۴۰ سال پیش، یک انسان در برابر هشدار یک سیستم خودکار ایستاد، شرایط را درک کرد و تصمیم گرفت فرایندی را که می‌توانست به فاجعه منجر شود، متوقف کند.

امروز سازمان‌ها در آستانه دوره‌ای قرار دارند که ماشین‌ها می‌توانند با سرعتی بسیار بیشتر از انسان تصمیم بگیرند و اقدام کنند.

سؤال اصلی این نیست که آیا هوش مصنوعی روزی اشتباه خواهد کرد یا نه؛ بلکه این است که وقتی چنین اتفاقی افتاد، چه کسی متوجه آن می‌شود و اختیار توقفش را دارد؟

اگر هوش مصنوعی سازمان شما روزی تصمیم اشتباهی بگیرد، چه کسی «استانیسلاو پتروف» سازمان شما خواهد بود؟