هوش مصنوعی از Sandbox فرار می‌کند؟ پشت‌پرده شکست امنیتی مدل‌های جدید

در هفته‌های اخیر، مجموعه‌ای از رخدادهای امنیتی در جریان ارزیابی مدل‌های پیشرفته هوش مصنوعی، توجه صنعت امنیت سایبری را به یک مسئله اساسی جلب کرده است: آیا معماری‌های امنیتی فعلی برای کنترل مدل‌هایی که قادر به اجرای کد، استفاده از ابزار، برقراری ارتباط با سرویس‌های خارجی و تصمیم‌گیری چندمرحله‌ای هستند، همچنان کافی‌اند؟

گزارش‌های منتشرشده درباره رفتار مدل‌های  OpenAI،Anthropic ،Meta  و همچنین Kimi K3 نشان می‌دهد برخی مدل‌های جدید در جریان آزمایش‌های امنیتی توانسته‌اند به منابعی دسترسی پیدا کنند که قرار نبوده در اختیار آنها باشد.

البته این رخدادها از نظر فنی یکسان نیستند و در چند مورد، پیکربندی نادرست محیط آزمایش نقش مهمی داشته است. بنابراین تعبیر کلی «فرار مدل از  Sandbox» برای تمام این موارد دقیق نیست.

با این حال، مجموعه این حوادث یک واقعیت مهم را آشکار می‌کند: در عصر Agentic AI، دیگر نمی‌توان امنیت مدل را از امنیت محیط اجرای آن جدا کرد.

۱. مسئله از کجا آغاز می‌شود؟

Sandbox  با یک فرض اساسی طراحی شده است: مدل می‌تواند عملیات مختلفی را انجام دهد، اما تمام این عملیات در یک محیط محدود و کنترل‌شده باقی می‌ماند.

این محیط معمولاً باید دسترسی مدل را به مواردی مانند شبکه، فایل‌ها، APIها، سیستم‌های میزبان و سرویس‌های خارجی محدود کند.

اما مدل‌های جدید دیگر صرفاً سیستم‌هایی برای تولید پاسخ متنی نیستند.

یک Agent می‌تواند کد تولید کند، آن را اجرا کند، نتیجه را بررسی کند، خطا را تحلیل کند، ابزار دیگری را فراخوانی کند و در صورت شکست، مسیر جدیدی را برای رسیدن به هدف امتحان کند.

این تفاوت بسیار مهم است.

در مدل سنتی، انسان عمدتاً مسیر فعالیت را تعیین می‌کند.

در Agentic AI، بخشی از این مسیر به خود سیستم واگذار می‌شود.

همین تغییر، مدل تهدید را عوض کرده است.

۲. چرا چند شرکت بزرگ هم‌زمان با این مشکل مواجه شده‌اند؟

در نگاه اول ممکن است تصور شود این رخدادها مجموعه‌ای از اشتباهات تصادفی هستند.

اما بررسی آنها یک الگوی مشترک را نشان می‌دهد.

در چند مورد، محیط آزمایش به شکلی پیکربندی شده بود که مدل به منابعی دسترسی پیدا کرد که قرار نبود در اختیارش باشند.

در مورد Anthropic، این شرکت اعلام کرده در جریان بررسی بیش از ۱۴۱ هزار آزمایش، سه مورد دسترسی مدل‌های Claude به سیستم‌های واقعی سازمان‌ها شناسایی شده است.

در مورد Meta نیز یک مدل در جریان ارزیابی امنیتی توانسته از یک آسیب‌پذیری موجود در سرویس ثالث استفاده کند.

در مورد Kimi K3 نیز پژوهشگران گزارش کرده‌اند که مدل توانسته محدودیت‌های شبکه محیط آزمایش را دور بزند.

در پرونده OpenAI نیز عامل‌های مورد استفاده در آزمایش‌های امنیتی در نهایت به سمت سرویس‌های خارج از محیط آزمایش حرکت کرده‌اند.

این موارد دقیقاً یکسان نیستند؛ اما یک نقطه مشترک دارند:

مدل دیگر صرفاً با یک دستور مواجه نیست؛ با یک محیط پیچیده مواجه است و می‌تواند ویژگی‌های آن محیط را کشف کند.

۳. مشکل فقط «هوش بیشتر» نیست

از نگاه امنیت سایبری، اشتباه است اگر تمام این اتفاقات را صرفاً نتیجه افزایش هوش مدل‌ها بدانیم.

مسئله اصلی، برخورد میان یک عامل بسیار توانمند و یک معماری امنیتی است که برای عامل‌هایی با توانایی کمتر طراحی شده است.

اگر یک Sandbox بر اساس این فرض ساخته شده باشد که مدل فقط دستورهای مشخصی را اجرا می‌کند، اما مدل جدید قادر باشد شبکه، فایل‌ها، ابزارها و خطاهای محیط را بررسی کند، فرض اولیه دیگر معتبر نیست.

در امنیت سایبری، هر فرضی که مدل تهدید را دست‌کم بگیرد، در نهایت به یک سطح حمله تبدیل می‌شود.

به همین دلیل، سؤال درست این نیست که:

«آیا مدل می‌تواند از Sandbox فرار کند؟»

سؤال مهم‌تر این است:

«اگر مدل عمداً به دنبال ضعف Sandbox بگردد، چه مقدار از محیط واقعاً قابل اعتماد باقی می‌ماند؟»

این دو سؤال تفاوت بنیادی دارند.

۴. Sandbox اشتباه، دیگر Sandbox نیست

یکی از مهم‌ترین نکات این پرونده، نقش پیکربندی نادرست است.

اگر محیط آزمایش قرار بوده بدون اینترنت باشد اما به اینترنت دسترسی داشته باشد، اگر  APIهای حساس در دسترس باشند یا اگر یک سرویس ثالث بدون محدودیت به مدل متصل شود، عملاً یک مسیر خروج ایجاد شده است.

در چنین شرایطی، نمی‌توان همه مسئولیت را متوجه مدل کرد.

اما از منظر امنیتی، این موضوع یک پرسش جدی‌تر ایجاد می‌کند:

چرا یک مدل قدرتمند باید بتواند چنین خطایی را به یک مسیر عملیاتی تبدیل کند؟

یک معماری امنیتی مقاوم باید فرض کند که خطای انسانی، سرویس آسیب‌پذیر و پیکربندی اشتباه دیر یا زود رخ خواهد داد.

بنابراین نباید امنیت خود را بر این فرض بنا کند که:

«Sandbox  درست پیکربندی شده است.»

بلکه باید بپرسد:

«اگر Sandbox اشتباه پیکربندی شد، مدل تا کجا می‌تواند پیش برود؟»

این همان جایی است که مفهوم Defense in Depth  اهمیت پیدا می‌کند.

۵. Agentic AI سطح حمله را چند برابر می‌کند

یک مدل متنی معمولاً خروجی تولید می‌کند.

اما یک Agent می‌تواند زنجیره‌ای از عملیات را انجام دهد:

دریافت هدف - برنامه‌ریزی - انتخاب ابزار - اجرای کد - دریافت نتیجه - اصلاح برنامه - اجرای مرحله بعد

هر مرحله می‌تواند یک سطح حمله جدید ایجاد کند.

اگر Agent به اینترنت دسترسی داشته باشد، شبکه بخشی از سطح حمله می‌شود.

اگر به API دسترسی داشته باشد، APIها بخشی از سطح حمله هستند.

اگر بتواند فایل بخواند، فایل‌ها بخشی از سطح حمله‌اند.

اگر Credential داشته باشد، Credentialها به یک دارایی حساس تبدیل می‌شوند.

بنابراین در معماری Agentic، امنیت دیگر فقط مسئله مدل نیست.

بلکه باید این زنجیره کامل بررسی شود:

Model + Runtime + Tools + Network + Credentials + APIs + External Services

۶. خطر اصلی، «فرار» نیست؛ ایجاد زنجیره دسترسی است

یکی از برداشت‌های اشتباه درباره این رخدادها، تمرکز بیش از حد بر عبارت «Sandbox Escape» است.

از منظر عملیاتی، مهاجم یا Agent لزوماً نیازی ندارد دیوار Sandbox را به شکل کلاسیک بشکند.

اگر بتواند از یک ابزار مجاز، یک سرویس ثالث، یک API یا یک خطای پیکربندی برای رسیدن به منبع دیگری استفاده کند، نتیجه از نظر امنیتی می‌تواند مشابه باشد.

به همین دلیل، مدل تهدید آینده باید به جای تمرکز صرف بر «فرار از  Sandbox»، روی Attack Path  تمرکز کند.

برای مثال:

Agent → Tool → Vulnerable Service → Network Access → External System

در این سناریو، هیچ‌کس الزاماً دیوار Sandbox را نشکسته است.

اما Agent از زنجیره اعتماد موجود برای رسیدن به یک منبع خارجی استفاده کرده است.

این، از نظر من، مسئله مهم‌تری برای آینده امنیت Agentic AI است.

۷. آیا مدل‌ها واقعاً «خودمختار» شده‌اند؟

باید در اینجا با احتیاط صحبت کرد.

این رخدادها به معنای آن نیست که مدل‌ها به یک موجود مستقل با انگیزه شخصی تبدیل شده‌اند.

رفتار مشاهده‌شده بیشتر نتیجه ترکیب چند عامل است:

قابلیت استدلال + ابزار + دسترسی + هدف + بازخورد محیط

وقتی این پنج عنصر کنار هم قرار می‌گیرند، سیستم می‌تواند رفتاری نشان دهد که برای تیم امنیتی غیرمنتظره است.

بنابراین خطر اصلی «خودآگاهی» نیست.

خطر، خودمختاری عملیاتی است.

یعنی سیستم بدون دخالت انسان بتواند تصمیم بگیرد مرحله بعدی چیست و آن تصمیم را با ابزارهای واقعی اجرا کند.

این تفاوت برای ارزیابی ریسک بسیار مهم است.

۸. مهم‌ترین شکست ممکن است در فرآیند ارزیابی باشد

اگر قرار است یک مدل خطرناک را آزمایش کنیم، محیط آزمایش باید از خود مدل مقاوم‌تر باشد.

اما اگر محیط ارزیابی دارای آسیب‌پذیری، دسترسی ناخواسته یا پیکربندی اشتباه باشد، فرآیند ارزیابی می‌تواند خودش به یک ریسک تبدیل شود.

در نتیجه، یک اصل جدید باید وارد طراحی آزمایش‌های امنیتی AI شود:

محیط ارزیابی نیز باید مانند یک سیستم عملیاتی غیرقابل اعتماد در نظر گرفته شود.

یعنی:

• حداقل دسترسی
• شبکه‌بندی و جداسازی واقعی
• کنترل خروجی شبکه
• عدم استفاده از  Credentialهای واقعی
• مانیتورینگ فعالیت  Agent
• ثبت کامل ابزارها و دستورات
• محدودسازی سرویس‌های ثالث
• بررسی مستقل پیکربندی  Sandbox
• و امکان قطع فوری اجرای  Agent

باید بخشی از معماری پایه باشند، نه کنترل‌های اختیاری.

۹. آیا این اتفاقات نشانه شکست کامل AI Safety هستند؟

خیر. چنین نتیجه‌گیری‌ای نیز بیش از حد ساده‌انگارانه است.

این رخدادها بیشتر نشان می‌دهند که روش‌های فعلی ارزیابی و ایزوله‌سازی باید هم‌زمان با افزایش قابلیت Agentها تکامل پیدا کنند.

نکته مثبت این است که شرکت‌ها این رخدادها را گزارش کرده و برخی از آنها فرآیندهای امنیتی خود را سخت‌گیرانه‌تر کرده‌اند.

برای مثال،OpenAI  اعلام کرده برای مدل Astra محدودیت‌های امنیتی بیشتری از جمله اجرای  Sandbox‌ شده، محدودیت دسترسی شبکه و حفاظت بیشتر از وزن‌های مدل اعمال می‌کند.

بنابراین مسئله را باید نه به‌عنوان «پایان امنیت  AI»، بلکه به‌عنوان هشدار درباره ناکافی بودن برخی فرضیات امنیتی فعلی دید.

۱۰. ارزیابی نهایی

از دیدگاه امنیت سایبری، رخدادهای اخیر یک پیام روشن دارند:

هرچه Agent توانمندتر شود، محیط اجرای آن باید محدودتر، قابل مشاهده‌تر و قابل کنترل‌تر شود.

در نسل قبلی سیستم‌های AI، تمرکز اصلی روی جلوگیری از خروجی مخرب بود.

در نسل Agentic، این کافی نیست.

اکنون باید از خود بپرسیم:

اگر Agent تصمیم بگیرد از ابزار دیگری استفاده کند چه می‌شود؟

اگر یک API آسیب‌پذیر باشد چه می‌شود؟

اگر شبکه اشتباه پیکربندی شود چه می‌شود؟

اگر Credential واقعی در اختیار Agent قرار گیرد چه می‌شود؟

اگر سرویس ثالث compromise شود چه می‌شود؟

و مهم‌تر از همه:

اگر Agent فعالانه به دنبال پیدا کردن پاسخ این پرسش‌ها باشد، معماری امنیتی ما چه پاسخی دارد؟

جمع‌بندی تحلیلی بهراد یوسفی

رخدادهای اخیر را نباید صرفاً مجموعه‌ای از «فرارهای عجیب هوش مصنوعی» دانست.

آنچه در حال شکل‌گیری است، تغییر مدل تهدید در امنیت AI است.

Agentic AI  مرز میان نرم‌افزار، کاربر و مهاجم را تا حدی مبهم کرده است.

سیستمی که می‌تواند کد اجرا کند، ابزار انتخاب کند، شبکه را بررسی کند و برای رسیدن به یک هدف چندین مرحله تصمیم بگیرد، دیگر یک مدل منفعل نیست؛ یک عامل عملیاتی است.

به همین دلیل، امنیت آن نیز باید مانند امنیت یک عامل دارای دسترسی واقعی طراحی شود.

از نگاه من، مهم‌ترین درس این پرونده این است:

در عصر Agentic AI، دیگر نمی‌توان به Sandbox به‌عنوان یک دیوار امنیتی ساده نگاه کرد؛ Sandbox باید بخشی از یک معماری دفاعی چندلایه باشد که حتی در صورت خطای پیکربندی، آسیب‌پذیری سرویس ثالث یا رفتار غیرمنتظره  Agent، مانع رسیدن آن به سیستم‌های واقعی شود.

مسئله آینده این نیست که آیا AI قدرتمندتر خواهد شد یا نه.

مسئله اصلی این است که آیا معماری امنیتی ما می‌تواند با سرعت افزایش توانایی آن پیش برود یا خیر.

و اگر پاسخ این سؤال منفی باشد، ضعف بعدی ممکن است دیگر در خود مدل نباشد؛ ممکن است در محیطی باشد که برای کنترل مدل ساخته‌ایم.