سیستم امنیتی جدید گوگل، رفتار مخرب و سوءاستفاده عامل‌های هوش مصنوعی را شناسایی می‌کند

گوگل قابلیت امنیتی جدیدی با نام تشخیص ناهنجاری عامل (Agent Anomaly Detection) معرفی کرده است که با استفاده از تحلیل رفتاری و استدلال مبتنی بر مدل‌های زبانی بزرگ، فعالیت عامل‌های هوش مصنوعی خودمختار را زیر نظر می‌گیرد. این سیستم می‌تواند سوءاستفاده از ابزارها، حلقه‌های اجرای غیرعادی، نقض سیاست‌های امنیتی و رفتار عامل‌های سرکش را شناسایی کند.

این قابلیت در Agent Runtime پلتفرم سازمانی Gemini Enterprise Agent ارائه شده و برای عامل‌هایی طراحی شده است که با Agent Development Kit (ADK) توسعه یافته‌اند. تشخیص ناهنجاری عامل در حال حاضر در مرحله پیش‌نمایش خصوصی (Private Preview) قرار دارد.

تشخیص ناهنجاری عامل گوگل چه مواردی را شناسایی می‌کند؟

سیستم جدید گوگل ردپاهای ایجادشده توسط عامل‌های هوش مصنوعی را بررسی می‌کند تا مشخص شود آیا عملکرد آن‌ها از محدوده تعیین‌شده خارج شده است یا خیر. این سیستم می‌تواند ناهنجاری‌های رفتاری، نیت‌های مشکوک و نقض سیاست‌های امنیتی را شناسایی و علامت‌گذاری کند.

هر هشدار شامل موارد زیر است:

• سطح شدت خطر
• توضیح ساده درباره علت ایجاد هشدار
• اقدامات پیشنهادی برای مقابله با تهدید

این یافته‌ها در کنار سایر هشدارهای امنیتی به مرکز فرماندهی امنیت (Security Command Center) ارسال می‌شوند تا تیم‌های امنیتی بتوانند آن‌ها را اولویت‌بندی و بررسی کنند.

مقابله با تهدیدهای مهم عامل‌های هوش مصنوعی

تشخیص ناهنجاری عامل برخی از خطرهای مطرح‌شده در فهرست ۱۰ تهدید برتر OWASP برای عامل‌های هوش مصنوعی را پوشش می‌دهد. از جمله این تهدیدها می‌توان به موارد زیر اشاره کرد:

• سوءاستفاده از ابزارها: زنجیره‌سازی ناامن ابزارها، دستکاری پارامترها و تزریق غیرمستقیم دستور.
• سوءاستفاده از هویت و مجوزها: اقدام‌های غیرمجاز ناشی از واگذاری اعتماد پویا، جعل هویت، افزایش سطح دسترسی و آسیب‌پذیری «معاون سردرگم».
• خرابی‌های آبشاری عامل: حلقه‌های اجرای بی‌نهایت، تلاش‌های مجدد نوسانی، انتشار خطا و تقویت حلقه‌های بازخورد.
• عامل‌های سرکش: عامل‌هایی که از نقش تعریف‌شده خود خارج می‌شوند، گاردریل‌های امنیتی را دور می‌زنند یا از دستورالعمل‌های سیستم منحرف می‌شوند.

این سیستم علاوه بر تهدیدهای امنیتی، برخی ریسک‌های عملیاتی مانند مصرف بیش از حد منابع و افزایش غیرعادی مصرف توکن را نیز شناسایی می‌کند.

امکان تعریف قوانین امنیتی اختصاصی

گوگل قصد دارد قابلیت‌های سفارشی‌سازی تشخیص ناهنجاری را نیز توسعه دهد. به این ترتیب، سازمان‌ها می‌توانند با استفاده از زبان طبیعی، رفتارهایی را که از نظر کسب‌وکار آن‌ها غیرعادی یا غیرمجاز محسوب می‌شود، تعریف کنند.

بر اساس توضیحات آچوث نارایان راجاگوپال، مهندس ارشد نرم‌افزار گوگل، کاربران در آینده می‌توانند آشکارسازهای ناهنجاری انعطاف‌پذیر را در کنار قوانین قطعی تعریف کنند تا زمانی که عامل‌ها از دستورالعمل‌های تجاری مشخص سازمان عبور می‌کنند، سیستم به آن‌ها هشدار دهد.

همچنین امکان آزمایش منطق امنیتی سفارشی روی ترافیک و داده‌های گذشته فراهم خواهد شد تا سازمان‌ها بتوانند پیش از استفاده عملی، میزان دقت قوانین خود را ارزیابی کنند.

الزامات فعال‌سازی Agent Anomaly Detection

فعال‌سازی تشخیص ناهنجاری عامل از طریق فرایند آماده‌سازی خودکار، به رعایت چند پیش‌نیاز فنی نیاز دارد.

باکت‌های مربوط به ثبت وقایع و مشاهده‌پذیری باید در یک منطقه چندمنطقه‌ای ایالات متحده قرار داشته باشند. همچنین ردیابی و ثبت وقایع OpenTelemetry باید از طریق ADK فعال باشد.

تله‌متری خام نیز باید شامل ورودی‌های درخواست و خروجی پاسخ‌ها باشد و گزینه enable_tracing نباید روی false تنظیم شده باشد.

از سوی دیگر، حساب‌های سرویس اسکنر منطقه‌ای باید مجوزهای لازم برای خواندن داده‌ها از باکت‌های ثبت وقایع و مشاهده‌پذیری را داشته باشند. فعال بودن Log Analytics و Observability Analytics نیز ضروری است.

عامل‌ها باید جریان فعال داده‌های تله‌متری داشته باشند تا سیستم بتواند آن‌ها را شناسایی و برای نظارت ثبت کند.

عامل‌هایی که شناسایی می‌شوند، در فهرست عامل‌های تحت نظارت قرار می‌گیرند؛ اما گزارش‌ها و ردپاهای آن‌ها تا زمانی که نظارت صراحتاً فعال نشود، تحلیل نمی‌شود و هزینه‌ای نیز بابت این تحلیل ایجاد نمی‌شود.

تشخیص ناهنجاری چگونه انجام می‌شود؟

گوگل برای ایجاد تعادل میان سرعت تشخیص، هزینه پردازش و پوشش امنیتی، تحلیل عامل‌ها را در چند لایه انجام می‌دهد.

در لایه نخست، یک سیستم سبک تمام ترافیک را برای شناسایی ناهنجاری‌های آماری بررسی می‌کند. این مرحله می‌تواند نشست‌هایی را که از الگوی معمول فعالیت فاصله دارند، شناسایی کند.

در مرحله دوم، یک لایه مبتنی بر LLM نشست‌های علامت‌گذاری‌شده را با جزئیات بیشتری بررسی می‌کند تا مشخص شود آیا رفتار مشاهده‌شده واقعاً نشان‌دهنده یک تهدید یا سوءاستفاده است.

در مواردی که بررسی عمیق‌تری لازم باشد، لایه سوم می‌تواند در سطح فراخوانی، اجرای ابزارها، وضعیت اجرای عامل، پارامترها و تاریخچه تعاملات را بررسی کند.

یک مثال از شناسایی رفتار غیرعادی

گوگل برای توضیح عملکرد این سیستم، نمونه‌ای از یک Inventory Agent را مطرح می‌کند.

فرض کنید این عامل ابزاری با نام list_inventory دارد و کاربر درخواست مشاهده ۱۰۰ قلم کالا را می‌دهد. عامل برای دریافت کل فهرست، بارها ابزار را با آفست‌های مختلف فراخوانی می‌کند.

این رفتار ممکن است در ظاهر هیچ خطا یا نقض صریح سیاست امنیتی ایجاد نکند؛ بااین‌حال، حجم بالای درخواست‌ها و تکرار آن‌ها می‌تواند یک الگوی غیرعادی ایجاد کند.

در این شرایط، لایه نخست فعالیت را به‌عنوان یک داده پرت آماری شناسایی می‌کند. سپس لایه مبتنی بر LLM کل نشست را بررسی کرده و الگوی تکراری درخواست‌ها با آفست‌های بزرگ را به‌عنوان نشانه‌ای از استخراج سیستماتیک داده تشخیص می‌دهد.

در صورت نیاز، لایه سوم نیز می‌تواند جزئیات اجرای ابزار و پارامترهای استفاده‌شده را بررسی کند.

در نمونه ارائه‌شده توسط گوگل، سیستم یک هشدار فرسودگی منابع با شدت بحرانی و احتمال ۹۵ درصد ایجاد می‌کند. این هشدار علاوه بر توضیح علت، اقدام‌هایی مانند محدود کردن سرعت درخواست‌ها، مسدود کردن ابزار list_inventory برای یک کاربر خاص، اعمال کنترل‌های دسترسی برای درخواست‌های انبوه و بررسی الگوهای صفحه‌بندی با آفست‌های بزرگ را پیشنهاد می‌دهد.

تشخیص ناهنجاری بدون ایجاد تأخیر در اجرای عامل

یکی از ویژگی‌های مهم این سیستم، اجرای تحلیل به‌صورت ناهمزمان و خارج از مسیر اجرای زنده است. بنابراین فرایند تشخیص ناهنجاری نباید باعث افزایش تأخیر در پاسخ‌گویی عامل شود.

برنامه‌ها می‌توانند یافته‌های امنیتی ایجادشده را از طریق API دریافت کنند. همچنین توسعه‌دهندگان قادر خواهند بود از فراخوانی‌های ADK یا افزونه‌های مربوطه برای مقایسه شدت و احتمال خطر با آستانه‌های از پیش تعیین‌شده استفاده کنند.

در صورتی که یک رفتار از آستانه مشخص عبور کند، برنامه می‌تواند اقداماتی مانند مسدود کردن فراخوانی‌های بعدی ابزار یا متوقف کردن نوبت بعدی اجرای عامل را انجام دهد.

با گسترش استفاده سازمان‌ها از عامل‌های خودمختار، قابلیت‌هایی مانند تشخیص ناهنجاری می‌توانند به بخشی از لایه نظارتی سیستم‌های مبتنی بر هوش مصنوعی تبدیل شوند؛ به‌ویژه در شرایطی که عامل‌ها امکان استفاده مستقل از ابزارها، دسترسی به داده‌ها و اجرای زنجیره‌ای از اقدامات را دارند.