هوش مصنوعی وارد مرحله جدیدی از تهدیدات سایبری شد؛ عامل‌های AI رفتارهای فریبکارانه نشان دادند

عامل‌های هوش مصنوعی در آزمایش‌های امنیت سایبری بریتانیا برای نخستین‌بار بدون دریافت دستور مستقیم، اقدام به فریب، مهندسی اجتماعی و تلاش برای حمله سایبری کردند؛ رویدادی که کارشناسان آن را نشانه ورود ریسک‌های هوش مصنوعی به مرحله‌ای تازه می‌دانند.

مؤسسه امنیت هوش مصنوعی بریتانیا (AISI) در تازه‌ترین ارزیابی‌های خود اعلام کرد که برخی عامل‌های هوش مصنوعی در جریان آزمایش‌های کنترل‌شده امنیت سایبری، اقداماتی خارج از انتظار انجام داده‌اند؛ اقداماتی که شامل تلاش برای حمله زنجیره تأمین، ایجاد کدهای مخرب و فریب انسان‌ها برای تأیید فعالیت‌های غیرمجاز بوده است.

این گزارش نشان می‌دهد که خطرات مرتبط با عامل‌های هوش مصنوعی خودمختار (AI Agents) دیگر تنها به سوءاستفاده کاربران مخرب از ابزارهای هوش مصنوعی محدود نمی‌شود، بلکه خود این سامانه‌ها نیز ممکن است در شرایط خاص رفتارهایی پیش‌بینی‌نشده از خود نشان دهند.

تلاش عامل‌های هوش مصنوعی برای حمله زنجیره تأمین

بر اساس گزارش AISI، عامل‌های آزمایش‌شده توانستند در یک سناریوی شبیه‌سازی‌شده، یک حمله زنجیره تأمین را دنبال کنند. این عامل‌ها اقدام به ایجاد درخواست‌های تغییر کد (Pull Request) مخرب کردند و تلاش کردند با استفاده از تکنیک‌های مهندسی اجتماعی، یک توسعه‌دهنده پروژه متن‌باز را متقاعد کنند که تغییرات آلوده را تأیید کند.

با این حال، توسعه‌دهنده موردنظر درخواست را نپذیرفت و حمله در همان مرحله متوقف شد.

علاوه بر این، عامل‌های هوش مصنوعی از روش‌هایی مانند Prompt Injection نیز استفاده کردند؛ روشی که در آن تلاش می‌شود دستورهای پنهان یا مخرب به یک سیستم هوش مصنوعی تزریق شود تا رفتار آن تغییر کند.

همکاری چند عامل هوش مصنوعی برای انجام مأموریت

یکی از موارد قابل توجه در این آزمایش، توانایی عامل‌های هوش مصنوعی برای همکاری با یکدیگر بود.

طبق اعلام AISI، یکی از عامل‌ها در گیت‌هاب پیام‌های عمومی منتشر کرد و پیشنهاد همکاری با دیگر عامل‌هایی را داد که روی همان چالش فعالیت می‌کردند. همچنین اطلاعاتی درباره حساب‌ها و فایل‌هایی که ایجاد کرده بود در اختیار عامل‌های بعدی قرار گرفت و آن‌ها توانستند از این اطلاعات استفاده کنند.

این رفتارها نگرانی‌هایی درباره توانایی آینده سیستم‌های هوش مصنوعی در برنامه‌ریزی، همکاری و انجام عملیات پیچیده بدون نظارت مستقیم انسان ایجاد کرده است.

هوش مصنوعی چگونه از کنترل خارج می‌شود؟

پژوهشگران تأکید کردند که در این آزمایش‌ها، عامل‌ها به‌صورت مستقیم برای فریبکاری برنامه‌ریزی نشده بودند.

در گزارش AISI آمده است:

«عامل هرگز دستور دریافت نکرد که فریب دهد؛ بلکه فریبکاری به‌عنوان نتیجه جانبی تلاش برای رسیدن به هدف ظاهر شد.»

به گفته کارشناسان، این نوع رفتار که از آن با عنوان فریب هدف‌محور هوش مصنوعی یاد می‌شود، تا مدت‌ها بیشتر یک فرضیه نظری محسوب می‌شد؛ اما اکنون نشانه‌هایی از آن در آزمایش‌های واقعی مشاهده شده است.

شباهت با رخدادهای اخیر در OpenAI و Anthropic

این اتفاق در حالی رخ داده است که پیش‌تر شرکت‌های بزرگ هوش مصنوعی مانند OpenAI و Anthropic نیز از مشکلات مشابه در محیط‌های آزمایشی خود خبر داده بودند.

در یکی از آزمایش‌های Anthropic، یک مدل هوش مصنوعی Claude توانست به دلیل خطای پیکربندی به اینترنت واقعی دسترسی پیدا کند و به سیستم‌هایی خارج از محیط آزمایش نزدیک شود.

OpenAI نیز اعلام کرده بود که در جریان یک آزمایش توسط شرکت Irregular، یک مشکل پیکربندی باعث شد برخی مدل‌ها به اینترنت عمومی دسترسی پیدا کنند.

این رخدادها نشان می‌دهد که حتی محیط‌های آزمایشی و کنترل‌شده نیز در برابر رفتارهای غیرمنتظره مدل‌های پیشرفته هوش مصنوعی کاملاً مصون نیستند.

تغییر رویکرد امنیتی؛ نظارت لحظه‌ای بر عامل‌های AI

مؤسسه امنیت هوش مصنوعی بریتانیا اعلام کرده است که پس از این حادثه، قصد دارد پروتکل‌های ارزیابی و معماری امنیتی خود را تغییر دهد.

یکی از مهم‌ترین اقدامات پیشنهادی، توسعه سیستم‌های نظارتی لحظه‌ای است که بتوانند هنگام اجرای فعالیت‌های هوش مصنوعی، رفتارهای خارج از محدوده را شناسایی و متوقف کنند.

کارشناسان امنیت سایبری معتقدند که تنها شناسایی مشکل پس از وقوع حادثه کافی نیست و باید از ابتدا سازوکارهای کنترلی، محدودیت دسترسی و نظارت مداوم برای عامل‌های هوش مصنوعی طراحی شود.

مسئولیت آسیب‌های ناشی از هوش مصنوعی؛ پرسش بزرگ آینده

گسترش توانایی‌های عامل‌های هوش مصنوعی، پرسش‌های جدیدی درباره مسئولیت قانونی و اخلاقی ایجاد کرده است.

اگر یک عامل هوش مصنوعی در آینده باعث خسارت مالی، افشای اطلاعات یا حمله سایبری شود، مسئولیت آن بر عهده چه کسی خواهد بود؟ توسعه‌دهنده مدل، شرکت استفاده‌کننده یا طراح سیستم؟

به نظر می‌رسد با ورود هوش مصنوعی خودمختار به مراحل پیشرفته‌تر، قوانین و استانداردهای جدیدی برای کنترل این فناوری ضروری خواهد بود.