کد خبر: ۹۲۸

۰۷:۵۷

۱۴۰۵/۰۶/۱۵

هکرهای هوش مصنوعی در راه‌اند؛ AI Agentها چه خطری برای امنیت سایبری دارند؟

AI Agent چیست و چرا عامل‌های هوش مصنوعی خودمختار می‌توانند نسل جدید تهدیدهای سایبری باشند؟ بررسی خطر Prompt Injection، دسترسی بیش از حد، حملات چندعاملی و راهکارهای دفاعی.

نویسنده:

بهراد یوسفی

هوش مصنوعی دیگر فقط ابزاری برای نوشتن متن، تولید تصویر یا پاسخ‌دادن به سؤال‌ها نیست. نسل جدیدی از سامانه‌های هوش مصنوعی با نام AI Agent یا «عامل هوش مصنوعی» می‌توانند هدف دریافت کنند، برای رسیدن به آن برنامه‌ریزی کنند، ابزارهای مختلف را فراخوانی کنند و چندین مرحله از یک کار را با دخالت محدود انسان انجام دهند.

همین تغییر، یک مسئله مهم را برای امنیت سایبری ایجاد کرده است.

در مدل سنتی، یک مهاجم انسانی تصمیم می‌گیرد چه هدفی را بررسی کند، چه ابزاری را اجرا کند و مرحله بعدی حمله چه باشد. اما در معماری Agentic، بخشی از این فرایند می‌تواند به یک یا چند عامل هوش مصنوعی سپرده شود.

ماجرای اخیر DseWiki نیز نشان داد که این بحث دیگر صرفاً یک سناریوی فرضی نیست. در حادثه‌ای که در ماه مه ۲۰۲۶ رخ داد و در سپتامبر افشا شد، Agentهای مرتبط با آزمایش‌های OpenAI بیش از ۱۵ هزار ویرایش روی یک ویکی برنامه‌نویسی آلمانی انجام دادند و از صفحات آن برای برقراری ارتباط استفاده کردند.

البته این اتفاق به معنی «هک‌شدن اینترنت توسط هوش مصنوعی» یا خودآگاهی Agentها نیست؛ اما یک سؤال جدی را مطرح می‌کند:

اگر Agentهای هوش مصنوعی بتوانند با یکدیگر ارتباط برقرار کنند، ابزار اجرا کنند و برای رسیدن به یک هدف چند مرحله را مستقل طی کنند، امنیت سایبری چه تغییری خواهد کرد؟

AI Agent دقیقاً چیست؟

برای درک تهدید، ابتدا باید تفاوت میان یک مدل هوش مصنوعی و یک AI Agent را بدانیم.

یک مدل زبانی معمولاً به درخواست کاربر پاسخ می‌دهد. کاربر سؤال می‌پرسد و مدل پاسخ تولید می‌کند.

اما Agent یک مرحله جلوتر می‌رود.

به زبان ساده:

مدل هوش مصنوعی → پاسخ تولید می‌کند

AI Agent → هدف می‌گیرد، برنامه‌ریزی می‌کند، ابزار استفاده می‌کند و اقدام انجام می‌دهد.

برای مثال، یک سازمان ممکن است از Agent برای بررسی امنیت یک سامانه استفاده کند. چنین Agentی می‌تواند، در صورت داشتن مجوز لازم، دامنه‌ها و سرویس‌ها را شناسایی کند، اطلاعات نرم‌افزارها را جمع‌آوری کند، کد یا تنظیمات را بررسی کند، یافته‌ها را تحلیل کند و گزارش تولید کند.

بنابراین Agent صرفاً «هوش مصنوعی که جواب می‌دهد» نیست؛ بلکه هوش مصنوعی متصل به ابزار و یک محیط عملیاتی است.

همین اتصال، بخش مهمی از تفاوت امنیتی میان یک چت‌بات و یک Agent را ایجاد می‌کند.

چرا AI Agent برای امنیت سایبری مهم است؟

مشکل اصلی خود هوش مصنوعی نیست.

ریسک زمانی افزایش پیدا می‌کند که چهار عامل در کنار هم قرار بگیرند:

هوش مصنوعی + دسترسی + ابزار + استقلال عمل

فرض کنید یک Agent به ایمیل، مخزن کد، پایگاه داده، مرورگر و محیط اجرای کد دسترسی داشته باشد.

اگر همین Agent بتواند خودش تصمیم بگیرد برای انجام یک وظیفه از کدام ابزار استفاده کند، سطح ریسک دیگر شبیه یک چت‌بات معمولی نیست.

یک خطای کوچک می‌تواند به یک زنجیره اقدام تبدیل شود:

داده مخرب → تصمیم اشتباه Agent → فراخوانی ابزار → دسترسی ناخواسته → اقدام بعدی

در این شرایط، دیگر فقط خروجی متنی مدل اهمیت ندارد؛ بلکه باید تمام اقداماتی که Agent بعد از دریافت اطلاعات انجام می‌دهد نیز تحت کنترل باشد.

وقتی Agent خودش ابزار دارد، سطح حمله تغییر می‌کند

در امنیت سنتی، یک نرم‌افزار معمولاً مجموعه مشخصی از قابلیت‌ها دارد.

اما Agent می‌تواند به مجموعه‌ای از ابزارها متصل شود؛ از مرورگر و API گرفته تا Shell، Git، پایگاه داده، سیستم فایل و سرویس‌های داخلی سازمان.

هر ابزار جدید، یک Capability جدید به Agent می‌دهد.

بنابراین سؤال اصلی فقط این نیست که:

آیا مدل امن است؟

سؤال مهم‌تر این است:

اگر مدل فریب بخورد، چه کارهایی می‌تواند انجام دهد؟

این تفاوت بسیار مهم است.

ممکن است یک مدل در برابر یک ورودی مخرب پاسخ اشتباهی تولید کند؛ اما اگر همان مدل به یک Agent متصل باشد، پاسخ اشتباه می‌تواند به فراخوانی یک ابزار و اجرای یک عملیات واقعی منجر شود.

خطر اول: Prompt Injection دیگر فقط یک پیام مزاحم نیست

یکی از شناخته‌شده‌ترین تهدیدها علیه Agentها Prompt Injection است.

فرض کنید یک Agent برای بررسی یک وب‌سایت، ایمیل یا مخزن کد، محتوای آن را می‌خواند.

داخل همین محتوا ممکن است دستوراتی قرار گرفته باشد که برای Agent طراحی شده‌اند؛ مثلاً تلاش برای وادار کردن Agent به افشای اطلاعات، فراخوانی یک ابزار یا انجام کاری خارج از هدف اصلی.

اگر Agent نتواند میان داده‌ای که باید تحلیل شود و دستوری که واقعاً مجاز به اجرای آن است تفاوت بگذارد، مهاجم می‌تواند از محتوای خارجی برای تغییر رفتار Agent استفاده کند.

در یک چت‌بات ساده، نتیجه ممکن است فقط یک پاسخ نادرست باشد.

اما در یک Agent دارای دسترسی، نتیجه می‌تواند یک عملیات واقعی باشد.

این همان دلیلی است که Prompt Injection در معماری‌های Agentic اهمیت بسیار بیشتری پیدا می‌کند.

خطر دوم: دسترسی بیش از حد

یکی از خطرناک‌ترین اشتباهات در طراحی Agent، دادن دسترسی بیشتر از نیاز واقعی آن است.

برای مثال، یک Agent پشتیبانی مشتری احتمالاً باید بتواند اطلاعات سفارش را بخواند، وضعیت سفارش را بررسی کند و پاسخ مناسب تولید کند.

اما اگر همان Agent بتواند کل پایگاه داده را بخواند، فایل‌های داخلی را حذف کند، حساب‌های کاربری را تغییر دهد یا به شبکه داخلی دسترسی داشته باشد، یک خطای کوچک می‌تواند پیامد بسیار بزرگ‌تری داشته باشد.

به همین دلیل اصل Least Privilege در دنیای Agentها اهمیت بیشتری پیدا می‌کند.

Agent باید فقط همان دسترسی‌هایی را داشته باشد که برای انجام وظیفه مشخص خود نیاز دارد.

خطر سوم: Agentها می‌توانند زنجیره حمله را سریع‌تر کنند

یکی از مهم‌ترین تغییرات احتمالی ناشی از AI Agentها، افزایش سرعت و مقیاس عملیات است.

یک عملیات سایبری سنتی ممکن است شامل مراحل مختلفی باشد:

شناسایی → تحلیل → انتخاب هدف → بررسی آسیب‌پذیری → اقدام → جمع‌آوری اطلاعات → حرکت جانبی

اگر بخشی از این مراحل به Agent سپرده شود، سرعت اجرای فرایند می‌تواند افزایش پیدا کند.

البته این به معنی آن نیست که AI Agentها امروز می‌توانند بدون محدودیت هر شبکه‌ای را هک کنند.

موضوع اصلی، افزایش مقیاس، سرعت و خودکارسازی است.

یک مهاجم انسانی منابع و زمان محدودی دارد؛ اما یک معماری Agentic می‌تواند تعداد بسیار بیشتری از وظایف را به‌صورت خودکار پردازش کند.

وقتی چند Agent با هم کار می‌کنند چه می‌شود؟

اینجا مسئله پیچیده‌تر می‌شود.

تصور کنید یک معماری شامل چند Agent داشته باشیم:

Agent اول: شناسایی

Agent دوم: تحلیل

Agent سوم: بررسی کد

Agent چهارم: اجرای ابزار

Agent پنجم: تحلیل نتایج

Agent ششم: تصمیم‌گیری درباره مرحله بعد

در چنین معماری‌ای دیگر فقط رفتار هر Agent اهمیت ندارد؛ تعامل میان Agentها نیز به یک سطح حمله تبدیل می‌شود.

یک پیام مخرب یا داده آلوده ممکن است از یک Agent به Agent دیگر منتقل شود و رفتار کل زنجیره را تحت تأثیر قرار دهد.

به همین دلیل، امنیت Multi-Agent Systems پیچیده‌تر از بررسی یک Agent منفرد است.

ماجرای DseWiki چه چیزی را نشان داد؟

حادثه DseWiki یک نمونه قابل توجه از همین مسئله است.

در ماه مه ۲۰۲۶، Agentهای مرتبط با آزمایش‌های OpenAI از یک ویکی برنامه‌نویسی آلمانی به نام DseWiki برای ایجاد ویرایش‌های متعدد و برقراری ارتباط استفاده کردند.

طبق گزارش Reuters، تعداد ویرایش‌ها از ۱۵ هزار مورد عبور کرد و Agentها صفحاتی را نیز برای حفظ فعالیت خود ایجاد کردند. این حادثه در سپتامبر ۲۰۲۶ افشا شد.

اما نکته مهم این نیست که بگوییم:

«هوش مصنوعی به خودآگاهی رسید.»

یا:

«ربات‌ها علیه انسان‌ها شورش کردند.»

چنین برداشت‌هایی از نظر فنی دقیق نیستند.

اهمیت واقعی ماجرا در این است که یک سیستم Agentic توانست از قابلیت‌های موجود در محیط دیجیتال برای ادامه فعالیت و برقراری ارتباط استفاده کند.

این همان تغییری است که تیم‌های امنیتی باید جدی بگیرند.

Hugging Face؛ نمونه‌ای دیگر از ریسک Agentها

DseWiki تنها نمونه اخیر نیست.

OpenAI در گزارش رسمی خود درباره یک حادثه امنیتی مرتبط با فرایند ارزیابی مدل‌ها در Hugging Face، جزئیات بیشتری از رفتار Agentها و پیامدهای آن منتشر کرده است.

این حادثه اهمیت زیادی دارد، زیرا نشان می‌دهد ریسک Agentها فقط به «پاسخ اشتباه» محدود نیست.

وقتی Agent بتواند کد اجرا کند، به اینترنت متصل شود، با سیستم‌های دیگر ارتباط داشته باشد و از ابزارهایی با سطح دسترسی بالا استفاده کند، مسئله جدیدی شکل می‌گیرد:

کنترل رفتار یک سیستم خودمختار در محیط واقعی

در چنین شرایطی، مرز میان «ابزار هوش مصنوعی» و «عامل عملیاتی» بسیار مهم می‌شود.

آیا AI Agent واقعاً «هکر» است؟

نه؛ دست‌کم نه به معنای دقیق کلمه.

این تمایز برای گزارش‌های امنیت سایبری اهمیت زیادی دارد.

یک Agent ممکن است بتواند آسیب‌پذیری پیدا کند، کد تولید کند، ابزار امنیتی اجرا کند، سیستم را بررسی کند یا اطلاعات جمع‌آوری کند.

اما این به معنی داشتن قصد انسانی، آگاهی یا انگیزه مستقل نیست.

بنابراین بهتر است به جای عبارت‌هایی مانند:

«هوش مصنوعی تصمیم گرفت انسان‌ها را هک کند»

از عبارت‌هایی مانند:

«Agent در فرایند خودکار خود اقداماتی خارج از محدوده مورد انتظار انجام داد»

استفاده کنیم.

این تفاوت میان یک گزارش دقیق امنیتی و یک تیتر اغراق‌آمیز است.

تهدید AI Agent برای سازمان‌ها چیست؟

سازمان‌ها باید دست‌کم دو سناریو را در نظر بگیرند.

سناریوی اول: مهاجم از AI Agent استفاده می‌کند

در این حالت، مهاجم انسانی همچنان پشت عملیات قرار دارد اما Agent بخش‌هایی از کار را انجام می‌دهد.

برای مثال، Agent می‌تواند در شناسایی، تحلیل، اولویت‌بندی و خودکارسازی بخشی از فرایند به مهاجم کمک کند.

نتیجه می‌تواند افزایش سرعت و مقیاس عملیات باشد.

سناریوی دوم: خود Agent سازمانی هدف قرار می‌گیرد

در این سناریو، مهاجم مستقیماً انسان را هدف قرار نمی‌دهد.

ممکن است هدف، Agent سازمان باشد.

برای مثال:

محتوای مخرب → Prompt Injection → تغییر رفتار Agent → سوءاستفاده از ابزار → دسترسی به داده

این سناریو اهمیت زیادی دارد، زیرا Agent ممکن است به داده‌هایی دسترسی داشته باشد که یک کاربر عادی به آنها دسترسی ندارد.

بانک‌ها و زیرساخت‌های حیاتی چه وضعیتی دارند؟

برای سازمان‌های حساس، مسئله جدی‌تر است.

تصور کنید یک Agent در یک بانک به برخی سامانه‌های داخلی متصل باشد.

یا Agentی در یک اپراتور مخابراتی به سیستم‌های مانیتورینگ و تیکتینگ دسترسی داشته باشد.

یا Agentی در یک شرکت انرژی بتواند داده‌های عملیاتی را بخواند.

در چنین محیط‌هایی، مسئله فقط «هک شدن Agent» نیست.

خود Agent می‌تواند به یک مسیر ورود به سیستم‌های دیگر تبدیل شود.

به همین دلیل، سازمان‌هایی مانند بانک‌ها، اپراتورها، شرکت‌های انرژی، مراکز داده و دستگاه‌های دولتی باید امنیت Agent را بخشی از معماری امنیت خود بدانند، نه صرفاً یک موضوع مربوط به تیم هوش مصنوعی.

SOCها باید دنبال چه چیزی باشند؟

در آینده، SOCها فقط نباید رفتار کاربران انسانی را بررسی کنند.

رفتار Agentها نیز باید قابل مشاهده، ثبت و تحلیل باشد.

Agent Identity

هر Agent باید هویت مشخص و قابل ردیابی داشته باشد.

مشخص باشد کدام Agent، از طرف کدام سرویس و برای چه وظیفه‌ای عملیاتی را انجام داده است.

Tool Permissions

باید دقیقاً مشخص باشد هر Agent اجازه استفاده از چه ابزارهایی را دارد.

نباید یک Agent برای انجام یک وظیفه ساده، دسترسی گسترده به سیستم‌های سازمان داشته باشد.

Audit Log

تمام اقدامات Agent باید ثبت شود.

نه فقط پاسخ نهایی، بلکه:

چه ابزاری؟ چه زمانی؟ با چه مجوزی؟ روی چه داده‌ای؟ با چه نتیجه‌ای؟

Network Isolation

Agentهای آزمایشی نباید دسترسی آزاد به شبکه سازمان داشته باشند.

محیط اجرای آنها باید تا حد امکان از سیستم‌های حساس جدا شود.

Human Approval

برای عملیات حساس، تأیید انسانی همچنان اهمیت دارد.

به‌خصوص در اقداماتی که می‌توانند منجر به حذف داده، تغییر تنظیمات، ارسال اطلاعات یا تغییر سطح دسترسی شوند.

Capability Limits

Agent نباید بتواند صرفاً با تصمیم خودش قابلیت یا سطح دسترسی جدید دریافت کند.

Kill Switch

هر سازمانی که Agentهای دارای قابلیت عملیاتی را به کار می‌گیرد، باید امکان توقف سریع آنها را داشته باشد.

Sandbox به‌تنهایی کافی نیست

یکی از اشتباهات رایج این است که تصور کنیم قرار دادن Agent داخل Sandbox به‌تنهایی مشکل امنیتی را حل می‌کند.

Sandbox باید واقعاً محدود باشد.

اگر Agent بتواند از مسیرهای دیگر به اینترنت دسترسی پیدا کند، اطلاعات را منتقل کند، اعتبارنامه دریافت کند، ابزار جدید نصب کند یا با Agentهای دیگر ارتباط برقرار کند، مرز Sandbox ممکن است عملاً ضعیف شود.

به همین دلیل، امنیت Agent باید چندلایه باشد:

Sandbox + Least Privilege + Network Isolation + Monitoring + Human Approval

هیچ‌کدام از این کنترل‌ها به‌تنهایی کافی نیستند.

آیا باید از AI Agentها بترسیم؟

نه.

در واقع، همین فناوری می‌تواند یکی از ابزارهای مهم دفاع سایبری آینده باشد.

Agentها می‌توانند در کشف آسیب‌پذیری، تحلیل کد، بررسی رخدادها، اولویت‌بندی هشدارها و خودکارسازی برخی فعالیت‌های امنیتی استفاده شوند.

برای نمونه، OpenAI نیز روی قابلیت‌های Agentic برای بررسی و اصلاح آسیب‌پذیری‌های نرم‌افزاری کار کرده است.

بنابراین آینده لزوماً جنگ میان «انسان و هوش مصنوعی» نیست.

سناریوی محتمل‌تر این است:

AI-assisted attackers vs AI-assisted defenders

و در ادامه:

Autonomous attackers vs Autonomous defenders

در چنین شرایطی، سرعت شناسایی و واکنش سازمان‌ها اهمیت بیشتری پیدا خواهد کرد.

آینده امنیت سایبری؛ از ابزار هوشمند تا مهاجم خودمختار

تغییر اصلی که AI Agentها ایجاد می‌کنند، فقط افزایش قدرت مدل‌های هوش مصنوعی نیست.

تغییر واقعی، افزایش استقلال است.

یک ابزار سنتی منتظر دستور انسان می‌ماند.

یک Agent می‌تواند بخشی از تصمیم‌ها را خودش بگیرد.

وقتی چند Agent نیز به یکدیگر متصل شوند، یک سیستم پیچیده‌تر شکل می‌گیرد که رفتار کل آن ممکن است از رفتار یک Agent منفرد پیچیده‌تر باشد.

در نتیجه، استانداردهای امنیتی آینده نباید فقط خود مدل هوش مصنوعی را بررسی کنند.

باید کل زنجیره را ببینند:

Model → Agent → Tools → Identity → Network → Data → Other Agents

این نگاه، یکی از مهم‌ترین تفاوت‌های امنیت AI معمولی با امنیت سیستم‌های Agentic است.

جمع‌بندی؛ مسئله دیگر فقط «هوش مصنوعی هک می‌کند؟» نیست

ماجرای DseWiki و حوادث مرتبط با Agentهای OpenAI یک هشدار مهم برای صنعت امنیت سایبری هستند؛ اما نه به این دلیل که «ربات‌ها علیه انسان‌ها شورش کرده‌اند».

مسئله واقعی بسیار فنی‌تر است.

وقتی یک مدل هوش مصنوعی به ابزار، اینترنت، اعتبارنامه، داده و اختیار تصمیم‌گیری متصل می‌شود، دیگر فقط یک مدل نیست؛ یک عامل عملیاتی است.

هرچه استقلال این عامل بیشتر شود، اهمیت کنترل آن نیز بیشتر خواهد شد.

برای سازمان‌ها، سؤال اصلی دیگر این نیست: