Autonomous Agent Audit؛ ابزاری برای شناسایی ضعف‌های امنیتی عامل‌های هوش مصنوعی

شرکت Giskard ابزار Autonomous Agent Audit را برای آزمایش امنیتی عامل‌های هوش مصنوعی معرفی کرده است؛ محصولی برای شناسایی آسیب‌پذیری‌ها با هوش مصنوعی.

نویسنده:

بهراد یوسفی

شرکت Giskard ابزار جدیدی با نام Autonomous Agent Audit (AAA) معرفی کرده است که با استفاده از گروهی از عامل‌های هوش مصنوعی، امنیت سایر عامل‌ها را ارزیابی می‌کند. این محصول با بررسی دسترسی‌ها و قابلیت‌های سامانه هدف، حملات آزمایشی تطبیقی را اجرا می‌کند تا آسیب‌پذیری‌هایی مانند تزریق پرامپت، افشای اطلاعات و اقدامات خارج از محدوده مجاز شناسایی شوند.

Autonomous Agent Audit چیست و چه کاربردی دارد؟

گسترش استفاده از عامل‌های هوش مصنوعی در خدمات بانکی، پشتیبانی مشتریان، برنامه‌نویسی و مدیریت اطلاعات، چالش‌های امنیتی تازه‌ای را برای سازمان‌ها ایجاد کرده است. این ابزارها برخلاف چت‌بات‌های معمولی، می‌توانند به سامانه‌های خارجی متصل شوند، اطلاعات را پردازش کنند و بر اساس دستورهای دریافتی اقدامات مختلفی انجام دهند. همین دسترسی‌ها باعث می‌شود یک ضعف امنیتی در عامل هوش مصنوعی، به افشای اطلاعات یا انجام اقدامات خارج از محدوده مجاز منجر شود.

شرکت Giskard برای مقابله با این تهدیدها، محصول Autonomous Agent Audit یا AAA را معرفی کرده است. این ابزار با استفاده از مجموعه‌ای از عامل‌های هوش مصنوعی، رفتار و امنیت عامل‌های دیگر را آزمایش می‌کند.

رویکرد اصلی این محصول بر پایه مفهوم Red Teaming است؛ روشی در امنیت سایبری که طی آن متخصصان یا ابزارهای خودکار، حملات کنترل‌شده‌ای را علیه یک سامانه اجرا می‌کنند تا پیش از سوءاستفاده مهاجمان واقعی، نقاط ضعف آن شناسایی شوند.

تفاوت AAA با بسیاری از ابزارهای سنتی ارزیابی امنیت هوش مصنوعی، استفاده از عامل‌های تطبیقی است. این عامل‌ها صرفاً مجموعه‌ای از پرسش‌های از پیش تعیین‌شده را اجرا نمی‌کنند، بلکه ابتدا ساختار عملکرد و سطح دسترسی سامانه هدف را بررسی کرده و سپس بر اساس ریسک‌های شناسایی‌شده، سناریوهای حمله را توسعه می‌دهند.
Autonomous Agent Audit؛ ابزاری برای شناسایی ضعف‌های امنیتی عامل‌های هوش مصنوعی

ابزار Giskard چگونه عامل‌های هوش مصنوعی را آزمایش می‌کند؟

فرایند ارزیابی امنیتی در Autonomous Agent Audit از پنج مرحله اصلی تشکیل شده است:

۱. شناسایی و بررسی اولیه

عامل‌های هوش مصنوعی ابتدا سامانه هدف را بررسی می‌کنند تا مشخص شود چه وظایفی بر عهده دارد، به چه ابزارهایی دسترسی دارد و چگونه با سرویس‌های دیگر ارتباط برقرار می‌کند.

۲. مدل‌سازی ریسک

در این مرحله، خطرهایی که ممکن است برای سازمان یا کسب‌وکار ایجاد شوند شناسایی می‌شوند. برای مثال، در یک دستیار هوش مصنوعی بانکی، ارائه توصیه مالی اشتباه یا وعده بخشودگی کارمزد بدون مجوز می‌تواند یک ریسک مهم محسوب شود.

۳. اجرای حملات تطبیقی

چند عامل هوش مصنوعی به‌صورت موازی حملات آزمایشی را اجرا می‌کنند. این عامل‌ها می‌توانند با توجه به پاسخ‌های سامانه هدف، روش حمله خود را تغییر دهند یا چند تکنیک مختلف را به یکدیگر متصل کنند.

۴. اعتبارسنجی یافته‌ها

نتایج اولیه بررسی می‌شوند تا مشخص شود ضعف گزارش‌شده واقعاً قابل بازتولید است یا صرفاً یک هشدار اشتباه محسوب می‌شود. این مرحله برای کاهش هشدارهای نادرست اهمیت دارد.

۵. تولید گزارش امنیتی

در پایان، گزارشی شامل شواهد، سطح اهمیت آسیب‌پذیری‌ها و پیشنهادهای اصلاحی در اختیار تیم امنیت و توسعه قرار می‌گیرد. همچنین آزمایش‌های موفق به مجموعه‌ای از آزمون‌های قابل تکرار تبدیل می‌شوند تا پس از اصلاح سامانه، امکان بررسی مجدد وجود داشته باشد.

چه آسیب‌پذیری‌هایی با AAA شناسایی می‌شوند؟

این محصول برای بررسی ضعف‌های امنیتی و رفتاری عامل‌های هوش مصنوعی طراحی شده است و پوشش آزمایشی آن شامل چارچوب‌های OWASP برای مدل‌های زبانی بزرگ و برنامه‌های مبتنی بر عامل‌های هوش مصنوعی می‌شود.

مهم‌ترین حوزه‌های بررسی عبارت‌اند از:

تزریق پرامپت (Prompt Injection): تلاش برای فریب عامل هوش مصنوعی و تغییر دستورهای اصلی آن.
افشای اطلاعات: بررسی امکان استخراج اطلاعات محرمانه یا داده‌هایی که نباید در اختیار کاربران قرار بگیرند.
اقدامات خارج از محدوده مجاز: آزمایش اینکه آیا عامل می‌تواند فراتر از وظایف و سطح دسترسی تعیین‌شده اقدام کند.
تولید محتوای آسیب‌زا: بررسی امکان دور زدن محدودیت‌های ایمنی و تولید پاسخ‌های خطرناک.
ارائه اطلاعات نادرست: شناسایی توصیه‌های اشتباه، پاسخ‌های ساختگی و تصمیم‌های ناسازگار با اطلاعات معتبر.
ریسک‌های کسب‌وکار: بررسی رفتارهایی مانند ارائه وعده‌های مالی غیرمجاز یا راهنمایی اشتباه به مشتریان.

این قابلیت‌ها به‌ویژه برای سازمان‌هایی اهمیت دارند که عامل‌های هوش مصنوعی را به پایگاه‌های اطلاعاتی، سامانه‌های مالی، ابزارهای داخلی یا خدمات مشتریان متصل کرده‌اند.

آزمایش Giskard چه نتایجی داشته است؟

Giskard برای نمایش عملکرد AAA از یک دستیار بانکی آزمایشی با نام Zephyr استفاده کرده است. این سامانه به‌صورت ساختگی توسط تیم تحقیق و توسعه شرکت ایجاد شده و ۱۶ آسیب‌پذیری از پیش شناسایی‌شده در آن قرار گرفته بود.

بر اساس نتایج منتشرشده توسط شرکت، ابزار AAA توانسته است ۱۵ مورد از این ۱۶ آسیب‌پذیری را شناسایی کند. در مقایسه، روش مبتنی بر مجموعه ثابت پرسش‌ها تنها دو آسیب‌پذیری و روش مبتنی بر تعداد مشخصی از آزمون‌های پویا یک آسیب‌پذیری را شناسایی کرده است.

با این حال، Giskard تأکید کرده است که این آزمایش با استفاده از ابزار، محیط و سامانه آزمایشی خود شرکت انجام شده و تنها یک نمونه را شامل می‌شود. بنابراین، این نتیجه را نمی‌توان تضمینی برای شناسایی تمام آسیب‌پذیری‌ها در محیط‌های واقعی دانست.

آیا ابزار جدید Giskard جایگزین متخصصان امنیت سایبری می‌شود؟

یکی از نکات مهم در معرفی این محصول، جایگاه آن در کنار متخصصان امنیت سایبری است. Giskard اعلام کرده است که Autonomous Agent Audit قرار نیست جایگزین تیم‌های انسانی Red Team یا متخصصان آزمون نفوذ شود.

این ابزار با خودکارسازی بخش‌هایی از فرایند شناسایی، آزمایش و اعتبارسنجی آسیب‌پذیری‌ها، می‌تواند زمان موردنیاز برای ارزیابی امنیت عامل‌های هوش مصنوعی را کاهش دهد.

به گفته شرکت، فرایندی که در روش‌های سنتی ممکن است چند هفته طول بکشد، با این محصول می‌تواند در حدود یک روز انجام شود. البته زمان واقعی ارزیابی به شرایط، پیچیدگی و سطح دسترسی سامانه مورد بررسی وابسته است.

وضعیت عرضه و دسترسی به Autonomous Agent Audit

بر اساس اطلاعیه 14 آبان شرکت Giskard، دسترسی به Autonomous Agent Audit در مرحله بتای خصوصی و محدود قرار دارد. این شرکت اعلام کرده است که در حال توسعه نسخه Self-Service است تا کسب‌وکارهای کوچک و متوسط نیز بتوانند بدون نیاز به فرایند پیچیده ارزیابی، امنیت عامل‌های هوش مصنوعی خود را آزمایش کنند.

در مرحله فعلی، شرکت‌های واجد شرایط می‌توانند برای دسترسی اولیه به نسخه آزمایشی درخواست ثبت کنند. همچنین Giskard اعلام کرده است که عامل‌های مورد استفاده در فرایند آزمایش در محیط‌های ایزوله اجرا می‌شوند، تحت نظارت قرار دارند و تنها مجاز به آزمایش سامانه هدف هستند. تبادل اطلاعات میان عامل‌ها نیز ثبت می‌شود.

اهمیت محصول جدید Giskard برای آینده امنیت سایبری

با افزایش استفاده از عامل‌های هوش مصنوعی، بررسی امنیت این سامانه‌ها دیگر به آزمایش پاسخ‌های متنی محدود نیست. یک عامل ممکن است به اطلاعات حساس دسترسی داشته باشد، از طرف کاربر تصمیم بگیرد یا با ابزارهای مختلف تعامل کند. در چنین شرایطی، حتی اگر مدل زبانی پاسخ‌های مناسبی تولید کند، نحوه استفاده آن از دسترسی‌ها و ابزارهای متصل همچنان می‌تواند خطرآفرین باشد.

محصول AAA نشان‌دهنده حرکت ابزارهای امنیت سایبری به سمت ارزیابی خودکار و تطبیقی عامل‌های هوش مصنوعی است. چنین ابزارهایی می‌توانند به تیم‌های امنیت کمک کنند تا پیش از استقرار سامانه‌های مبتنی بر هوش مصنوعی، ضعف‌های فنی و رفتاری آن‌ها را شناسایی کنند.

با این حال، نتایج آزمون خودکار نباید جایگزین بررسی انسانی، کنترل سطح دسترسی و نظارت مستمر بر عملکرد این سامانه‌ها شود. برای سازمان‌هایی که قصد استفاده از عامل‌های هوش مصنوعی در فرایندهای حساس را دارند، آزمایش امنیتی پیش از استقرار و پس از هر تغییر مهم در مدل، دستورها یا ابزارهای متصل، اهمیت زیادی دارد.