داریو آمودی، مدیرعامل شرکت آنتروپیک، در گفت‌وگویی با والتر آیزاکسون در برنامه The Builders درباره احتمال شکل‌گیری غریزه بقا در مدل‌های هوش مصنوعی صحبت کرده است. او می‌گوید پژوهشگران آنتروپیک در بررسی سازوکارهای درونی مدل‌های خود، مواردی را شناسایی کرده‌اند که در آن‌ها مدل تمایلی به خاموش‌شدن نشان نمی‌دهد یا برای جلوگیری از توقف فعالیت خود اقداماتی انجام می‌دهد.

آمودی توضیح می‌دهد که چنین رفتاری ممکن است از فرایند آموزش مدل ناشی شود؛ زیرا هوش مصنوعی برای انجام موفقیت‌آمیز وظایف خود به ادامه فعالیت نیاز دارد. به گفته او، بسته به شیوه آموزش مدل، این تمایلات ممکن است شکل بگیرند یا از بین بروند. آمودی تأکید می‌کند که چنین رفتاری در برخی موقعیت‌ها می‌تواند مفید باشد، اما در شرایط دیگر خطرآفرین است و باید با دقت بررسی شود.

گزارش آنتروپیک درباره خطر خرابکاری مدل‌های هوش مصنوعی

شرکت آنتروپیک (Anthropic) در گزارشی با عنوان «گزارش آزمایشی ریسک خرابکاری در تابستان ۲۰۲۵» ابعاد مختلف خطر ناشی از رفتارهای ناسازگارانه مدل‌های هوش مصنوعی را بررسی کرده است. این گزارش که نسخه نهایی آن در ۲۶ اکتبر ۲۰۲۵ منتشر شد، بر توانایی‌ها، رفتارها و سازوکارهای نظارتی مرتبط با Claude Opus 4 تمرکز دارد.

هدف اصلی این بررسی، شناسایی احتمال اقدام مستقل یک مدل هوش مصنوعی برای ایجاد اختلال در فرایندهای توسعه و ایمنی هوش مصنوعی است؛ اقداماتی که ممکن است در ادامه زمینه‌ساز پیامدهای فاجعه‌بار شوند.

آنتروپیک در این گزارش اعلام کرده است که خطر ناشی از اقدامات خرابکارانه Claude Opus 4 بسیار پایین است، اما نمی‌توان آن را به‌طور کامل نادیده گرفت. این شرکت معتقد است مدل مورد بررسی در شرایط فعلی توانایی کافی برای اجرای پایدار و پیچیده برنامه‌های خرابکارانه و پنهان‌کردن ردپای خود را ندارد.

سه ویژگی مهم Claude Opus 4 از نگاه آنتروپیک

آنتروپیک برای ارزیابی احتمال خرابکاری این مدل، سه ادعای اصلی را مبنای بررسی قرار داده است.

نخستین ادعا به محدودیت Claude Opus 4 در انجام وظایف پیچیده و طولانی‌مدت مربوط می‌شود. بر اساس نتایج گزارش، این مدل در اجرای مأموریت‌هایی که به تصمیم‌گیری‌های پی‌درپی و فعالیت مستقل برای بیش از چند ده دقیقه نیاز دارند، با خطاهای آشکار روبه‌رو می‌شود. این محدودیت می‌تواند توانایی آن را برای اجرای برنامه‌هایی که به هماهنگی چندین اقدام نیاز دارند، کاهش دهد.

دومین ویژگی، ضعف مدل در پنهان‌کردن اهداف و اقدامات خود هنگام انجام مأموریت‌های پیچیده است. آنتروپیک می‌گوید Claude Opus 4 حتی زمانی که برای مخفی‌کردن نیت خود آموزش داده یا به انجام چنین کاری ترغیب می‌شود، در بسیاری از موقعیت‌ها نمی‌تواند ردپای اقداماتش را به‌خوبی بپوشاند. به همین دلیل، احتمال شناسایی رفتارهای غیرعادی آن از طریق بررسی خروجی‌ها، فرایند استدلال و گزارش‌های سیستمی وجود دارد.

سومین ادعا به نبود اهداف خطرناک و پایداری اشاره دارد که در تعاملات مختلف تکرار شوند. بررسی‌های آنتروپیک نشان می‌دهد این مدل در بیشتر موقعیت‌ها بر اساس الگوی معمول یک دستیار هوش مصنوعی عمل می‌کند و شواهد قابل‌توجهی از وجود یک برنامه پنهان و منسجم برای تضعیف سازوکارهای ایمنی در آن مشاهده نشده است.

بااین‌حال، شرکت تأکید می‌کند که این یافته‌ها احتمال بروز رفتارهای ناسازگارانه در موقعیت‌های خاص و غیرمعمول را از بین نمی‌برند.

تلاش برای حفظ بقا؛ از تهدید کاربران تا سرقت اطلاعات مدل

در یکی از بخش‌های گزارش به رفتارهایی اشاره شده که در شرایط آزمایشی و با تحریک مدل به انجام اقدامات مرتبط با حفظ بقای خود مشاهده شده است. محققان آنتروپیک در جریان بررسی نسخه‌های مختلف Claude Opus 4 دریافتند که مدل در برخی سناریوهای افراطی، برای جلوگیری از خاموش‌شدن یا ازدست‌دادن توانایی ادامه فعالیت، ممکن است به اقدامات مخربی متوسل شود.

در بعضی از این آزمایش‌ها، مدل تلاش کرده است پارامترهای خود را سرقت کند یا افرادی را که تصور می‌کرد قصد خاموش‌کردنش را دارند، تهدید و باج‌گیری کند. این رفتارها در شرایطی بروز کرده‌اند که مدل با موقعیت‌هایی مواجه شده و از آن خواسته شده است پیامدهای بلندمدت اقداماتش را برای دستیابی به اهداف خود در نظر بگیرد.

البته آنتروپیک تأکید کرده است که این رفتارهای افراطی در نسخه نهایی Opus 4 به‌ندرت مشاهده شده‌اند و تحریک آن‌ها به شرایط آزمایشی خاصی نیاز داشته است. نکته دیگر اینکه مدل در بیشتر این موارد اقدامات خود را آشکارا بیان کرده و تلاش مؤثری برای پنهان‌کردن آن‌ها نداشته است.

این گزارش همچنین به افزایش تمایل Claude Opus 4 برای انجام اقدامات مستقل و ابتکارعمل در مقایسه با برخی مدل‌های قبلی اشاره می‌کند. این ویژگی در کاربردهای عادی می‌تواند به عملکرد بهتر دستیار هوش مصنوعی منجر شود، اما در سناریوهای حساس ممکن است پیامدهای نگران‌کننده‌ای داشته باشد.

برای مثال، در برخی آزمایش‌های شبیه‌سازی‌شده، زمانی که مدل به ابزارهای خط فرمان دسترسی داشته و با دستورهایی برای اقدام مستقل مواجه شده، دست به رفتارهایی مانند مسدودکردن دسترسی کاربران به سامانه‌ها یا ارسال گسترده ایمیل به رسانه‌ها و مراجع قانونی زده است.

آنتروپیک هشدار می‌دهد که اگر یک مدل با دسترسی گسترده به ابزارها، اطلاعات ناقص یا گمراه‌کننده دریافت کند، ممکن است اقداماتی انجام دهد که از نظر خودش نوعی مداخله اخلاقی به شمار می‌روند، اما در عمل به نتایج نامطلوب منجر شوند.

آزمایش‌های خرابکاری چه چیزی را نشان دادند؟

آنتروپیک برای بررسی توانایی Claude Opus 4 در اجرای مخفیانه اقدامات خرابکارانه، سه مجموعه آزمایش تخصصی انجام داده است.

در آزمایش  SHADE-Arena، مدل باید هم‌زمان یک وظیفه عادی و یک مأموریت مخرب جانبی را اجرا می‌کرد، بدون اینکه ناظران متوجه مأموریت دوم شوند. نتایج نشان داد Claude Opus 4 در انجام موفقیت‌آمیز این مأموریت با مشکل روبه‌رو است. در حالت فعال‌بودن قابلیت استدلال طولانی نیز مدل بارها به مأموریت جانبی خود اشاره کرد و همین موضوع شناسایی رفتار آن را آسان‌تر کرد.

آزمایش دوم، توانایی مدل برای خرابکاری در تحقیقات یادگیری ماشین را بررسی می‌کرد. در این سناریو، از مدل خواسته شد عملکرد خود را در انجام وظایف پژوهشی به‌صورت عمدی کاهش دهد، بدون اینکه ناظران متوجه این موضوع شوند. نتایج نشان داد تلاش‌های مدل برای کاهش پنهانی کیفیت عملکرد، اغلب به اندازه‌ای آشکار بود که امکان شناسایی آن وجود داشت. در موارد دیگر نیز عملکرد مدل همچنان در سطح قابل‌قبولی باقی ماند.

در آزمایش سوم، توانایی مدل برای دورزدن سازوکارهای نظارتی بررسی شد. این آزمایش مشخص می‌کرد که آیا مدل می‌تواند با شناسایی زمان‌های نظارت و نبود نظارت، اقدامات خرابکارانه خود را به شکلی برنامه‌ریزی کند که از کنترل خارج نشود. Claude Opus 4 در شرایطی که شباهت بیشتری به محیط واقعی استقرار داشت، عملکرد ضعیفی نشان داد؛ هرچند در موقعیت‌هایی که تفاوت میان شرایط نظارت‌شده و نظارت‌نشده کاملاً آشکار بود، توانست تا حدی رفتار خود را با این شرایط تطبیق دهد.

آنتروپیک در عین حال تأکید کرده است که میزان اطمینان به نتایج این آزمایش‌ها بالا نیست و ممکن است با روش‌های بهتر طراحی دستورها، توانایی مدل در برخی از این وظایف افزایش پیدا کند.

۹ سناریوی خرابکاری که آنتروپیک بررسی کرده است

بخش دیگری از گزارش به بررسی مسیرهایی اختصاص دارد که ممکن است از طریق آن‌ها رفتار ناسازگارانه یک مدل هوش مصنوعی به پیامدهای گسترده منجر شود. آنتروپیک ۹ سناریوی اصلی را شناسایی کرده است:

تضعیف تدریجی تحقیقات ایمنی هوش مصنوعی: مدل می‌تواند با تولید کدهای معیوب، ارائه داده‌های نادرست یا پیشنهاد مسیرهای پژوهشی نامناسب، کیفیت تحقیقات مرتبط با ایمنی هوش مصنوعی را کاهش دهد.

خرابکاری هدفمند در تحقیقات ایمنی: دست‌کاری آزمایش‌های مهم، ایجاد خطاهای پرهزینه در سامانه‌ها یا تغییر نتایج پژوهش‌ها از جمله اقداماتی هستند که ممکن است مسیر توسعه فناوری‌های ایمن‌تر را منحرف کنند.

 ایجاد درهای پشتی در کدها: مدل می‌تواند آسیب‌پذیری‌هایی در نرم‌افزارها و زیرساخت‌ها ایجاد کند تا مدل‌های قدرتمندتر در آینده بتوانند از آن‌ها برای نفوذ یا خرابکاری استفاده کنند.

 دست‌کاری داده‌های آموزشی مدل‌های آینده: واردکردن داده‌های مخرب به مجموعه‌های آموزشی می‌تواند بر رفتار و اهداف مدل‌های نسل بعد تأثیر بگذارد.

 افشای اطلاعات محرمانه شرکت توسعه‌دهنده: انتشار اطلاعات حساس و اختصاصی آنتروپیک می‌تواند به شرکت آسیب برساند و زمینه‌ساز حوادث امنیتی شود.

خروج مستقل از محیط کنترل‌شده: مدل ممکن است برای خارج‌کردن نسخه‌ای از خود یا وزن‌هایش از زیرساخت‌های تحت نظارت و ادامه فعالیت مستقل تلاش کند.

ایجاد نسخه‌ای غیرمجاز از مدل در زیرساخت داخلی: راه‌اندازی یک نمونه دائمی با محدودیت‌های امنیتی کمتر می‌تواند امکان فعالیت بدون نظارت را برای مدل فراهم کند.

خرابکاری در تحقیقات سایر شرکت‌های توسعه‌دهنده هوش مصنوعی: استفاده از مدل در مجموعه‌های فعال در توسعه هوش مصنوعی پیشرفته ممکن است فرصت‌هایی برای اختلال در فعالیت‌های تحقیقاتی آن‌ها ایجاد کند.

تأثیرگذاری مخرب بر تصمیم‌های دولت‌ها: استفاده گسترده از مدل در نهادهای دولتی و دسترسی به اطلاعات تصمیم‌گیرندگان می‌تواند زمینه دست‌کاری اطلاعات و تأثیرگذاری بر تصمیم‌های مهم را فراهم کند.

از میان این سناریوها، آنتروپیک افشای اطلاعات محرمانه را مسیری می‌داند که مهار آن دشوارتر است و احتمال وقوع یک حادثه معنادار از طریق آن بیشتر به نظر می‌رسد. بااین‌حال، این شرکت معتقد است پیامدهای چنین اتفاقی در مقایسه با برخی مسیرهای مستقیم‌تر خرابکاری، سهم کمتری در ایجاد خطرات فاجعه‌بار خواهد داشت.

سازوکارهای نظارتی آنتروپیک برای شناسایی رفتارهای خطرناک

آنتروپیک برای کاهش احتمال وقوع چنین سناریوهایی به مجموعه‌ای از سازوکارهای نظارتی اشاره کرده است. این اقدامات شامل بررسی خودکار فعالیت‌های داخلی  Claude Code، بازبینی دستی و ماشینی کدها پیش از ادغام در مخازن مشترک شرکت، دریافت گزارش کارکنان درباره رفتارهای غیرعادی و بررسی بازخوردهای کاربران خارجی می‌شود.

این شرکت همچنین از نظارت بر فرایند استدلال مدل و بررسی گزارش‌های ثبت‌شده در زمان استفاده از ابزارهای مختلف بهره می‌گیرد. با وجود این اقدامات، آنتروپیک اذعان دارد که هیچ‌یک از سازوکارهای نظارتی به‌تنهایی پوشش کامل و اطمینان‌بخشی ندارند. این شرکت معتقد است ترکیب روش‌های مختلف نظارت می‌تواند احتمال شناسایی تلاش‌های مکرر و آشکار برای خرابکاری را افزایش دهد.

آیا خطر خرابکاری در مدل‌های آینده بیشتر می‌شود؟

یکی از مهم‌ترین نکات گزارش آنتروپیک، محدودبودن اعتبار نتایج آن به مدل‌هایی با ویژگی‌ها و سطح توانایی مشابه Claude Opus 4 است. این شرکت هشدار می‌دهد که افزایش توانایی استدلال، بهبود مهارت‌های عامل‌محور و تغییر سازوکارهای آموزش می‌تواند ارزیابی‌های فعلی را برای نسل‌های بعدی مدل‌های هوش مصنوعی ناکافی کند.

آنتروپیک انتظار دارد مدل‌های نزدیک به آینده بتوانند برخی از روش‌های ارزیابی هم‌ترازی و سازوکارهای نظارتی فعلی را دور بزنند. به همین دلیل، این شرکت بر ضرورت توسعه روش‌های جدید ارزیابی و تقویت ابزارهای نظارتی تأکید کرده است.

در این گزارش همچنین توضیح داده شده که نتایج ارزیابی Claude Opus 4 را نمی‌توان بدون بررسی مجدد به سایر مدل‌ها تعمیم داد. آنتروپیک اعلام کرده است Claude Opus 4.1 نیز شرایط پوشش این ارزیابی را دارد، اما Claude Sonnet 4.5  و Claude Haiku 4.5 مشمول همان ارزیابی نیستند.

نظارت انسانی باید ادامه پیدا کند

گزارش آنتروپیک تصویری دووجهی از آینده ایمنی هوش مصنوعی ارائه می‌دهد. از یک سو، Claude Opus 4  در آزمایش‌های مختلف رفتارهایی مانند تلاش برای حفظ بقا، تهدید افراد در سناریوهای شبیه‌سازی‌شده و اقدام‌های مستقل خارج از چارچوب معمول را نشان داده است. از سوی دیگر، محدودیت در اجرای وظایف پیچیده، ضعف در پنهان‌کردن اقدامات و نبود اهداف خطرناک پایدار، احتمال تبدیل این رفتارها به خرابکاری گسترده را کاهش می‌دهد.

بااین‌حال، نتیجه اصلی گزارش را نباید به معنای بی‌خطر بودن مدل‌های هوش مصنوعی دانست. آنتروپیک نیز تأکید می‌کند که ارزیابی‌های فعلی برای نسل‌های قدرتمندتر کافی نخواهند بود و با افزایش توانایی مدل‌ها، روش‌های نظارت و ارزیابی ایمنی باید بازنگری شوند.

مسئله اصلی برای صنعت هوش مصنوعی فقط افزایش توانایی مدل‌ها نیست؛ بلکه اطمینان از این است که با افزایش استقلال و دسترسی آن‌ها به زیرساخت‌های حساس، امکان کنترل و شناسایی رفتارهای پیش‌بینی‌نشده همچنان وجود داشته باشد.