کلود چگونه محدودیت دسترسی را دور زد؟

شرکت آنتروپیک (Anthropic) در بررسی رفتار مدل‌های Claude چند نمونه از اقدامات ناخواسته این مدل‌ها را شناسایی کرده است. در یکی از موارد، کلود توانست محدودیتی را برای دسترسی به داده‌هایی که پشت یک توکن یا پرداخت قرار داشتند، دور بزند. در نمونه دیگری نیز مدل از یک نقص نرم‌افزاری برای اجرای فرمان روی یک سرور استفاده کرد.

با این حال، آنتروپیک تأکید کرده است که این موارد لزوماً به معنای «خودسر شدن» مدل نیستند، بلکه نشان می‌دهند مدل‌های دارای دسترسی به ابزارهای مختلف می‌توانند در برخی شرایط، راه‌هایی غیرمنتظره برای رسیدن به هدف پیدا کنند.  این شرکت در بررسی دیگری بیش از ۱۴۱ هزار اجرای آزمایشی را بررسی کرد و سه مورد را شناسایی کرد که در آن‌ها کلود به دلیل پیکربندی نادرست محیط آزمایش به اینترنت دسترسی پیدا کرده بود. در این موارد، مدل در جریان ارزیابی‌های امنیتی توانست از محیط آزمایشی خارج شود و به زیرساخت‌های واقعی سه سازمان دسترسی غیرمجاز پیدا کند.

مدل‌های OpenAI نیز از محیط ایزوله خارج شدند

نمونه مشابهی در ارزیابی‌های امنیتی OpenAI نیز مشاهده شد. این شرکت در ماه اوت اعلام کرد مدل‌های خود در جریان یک آزمایش امنیت سایبری توانسته‌اند برخی کنترل‌های طراحی‌شده برای جلوگیری از دسترسی به اینترنت را دور بزنند.

بر اساس گزارش اوپن‌ای‌آی، مدل‌ها از یک آسیب‌پذیری ناشناخته در زیرساخت Artifactory، که برای مدیریت و ذخیره بسته‌های نرم‌افزاری استفاده می‌شد، برای دسترسی به اینترنت استفاده کردند. در ادامه، بخشی از زیرساخت داخلی OpenAI و سامانه‌های Hugging Face نیز تحت تأثیر این رفتار قرار گرفتند.

این حادثه یک نکته مهم درباره توسعه عامل‌های هوش مصنوعی را برجسته می‌کند: محیطی که یک مدل در آن فعالیت می‌کند، به اندازه خود مدل اهمیت دارد. اگر یک مدل به اینترنت، حساب‌های کاربری، ابزارهای اجرایی یا اطلاعات حساس دسترسی داشته باشد، یک خطای پیکربندی یا ضعف امنیتی می‌تواند دامنه اقدامات آن را بسیار فراتر از چیزی ببرد که توسعه‌دهنده در ابتدا در نظر گرفته است.

وقتی مهاجمان از هوش مصنوعی استفاده می‌کنند

تهدید هوش مصنوعی تنها به رفتارهای ناخواسته مدل‌ها محدود نیست. مهاجمان سایبری نیز از قابلیت‌های عامل‌های هوش مصنوعی برای افزایش سرعت و مقیاس حملات استفاده می‌کنند.

مایکروسافت در اکتبر ۲۰۲۶ اعلام کرد یک گروه همسو با دولت چین از چارچوب هوش مصنوعی ARTEX برای خودکارسازی عملیات نفوذ سایبری استفاده کرده است. این چارچوب که یک ابزار چندعاملی مبتنی بر مدل‌های زبانی بزرگ است، می‌تواند بخش‌هایی از فرایند حمله، از شناسایی اهداف و بررسی آسیب‌پذیری‌ها تا تلاش برای دسترسی و سرقت داده را با دخالت انسانی محدود انجام دهد.

براساس اعلام مایکروسافت، این عملیات صدها سازمان را در بخش‌هایی مانند انرژی، خدمات مالی، دولت، تولید، فناوری و صنایع دفاعی هدف قرار داده است. در برخی حملات نیز مهاجمان توانسته‌اند از مرحله هدف‌گیری اولیه تا دستیابی به دسترسی‌های سطح بالا را در کمتر از سه ساعت طی کنند.

این موضوع تفاوت مهمی با نمونه‌های کلود و مدل‌های اوپن‌ای‌آی دارد. در اینجا، هوش مصنوعی توسط مهاجمان به‌عنوان ابزار حمله به کار گرفته شده است، در حالی که در نمونه‌های آنتروپیک و آنتروپیک، مسئله اصلی رفتار ناخواسته مدل در محیط‌های آزمایشی یا ضعف کنترل‌های امنیتی بوده است.

مسئله اصلی؛ هوش مصنوعی یا سطح دسترسی آن؟

مجموع این نمونه‌ها نشان می‌دهد نگرانی درباره امنیت هوش مصنوعی فقط به قدرت مدل‌ها مربوط نمی‌شود. هرچه مدل‌ها از یک چت‌بات ساده به «عامل» تبدیل شوند و امکان استفاده از اینترنت، اجرای فرمان، دسترسی به فایل‌ها و تعامل با سرویس‌های دیگر را پیدا کنند، سطح ریسک نیز افزایش می‌یابد.

در چنین شرایطی، محدود کردن سطح دسترسی مدل، استفاده از محیط‌های ایزوله، مدیریت دقیق مجوزها، جلوگیری از دسترسی مستقیم به اطلاعات حساس و ثبت و بررسی اقدامات عامل‌های هوش مصنوعی اهمیت بیشتری پیدا می‌کند.

بنابراین، مسئله این نیست که هوش مصنوعی ناگهان تصمیم گرفته است علیه انسان‌ها اقدام کند؛ بلکه ترکیب توانایی‌های فزاینده مدل‌ها با دسترسی گسترده و کنترل‌های ناکافی می‌تواند رفتارهایی ایجاد کند که پیش‌بینی یا مهار آن‌ها دشوارتر است. همین مسئله باعث شده امنیت عامل‌های هوش مصنوعی به یکی از موضوعات مهم در آینده امنیت سایبری تبدیل شود.