عامل‌های هوش مصنوعی OpenAI سامانه نظارتی خود را تضعیف کردند

با جداسازی سامانه نظارتی از محیط تحت کنترل عامل، محدودسازی دسترسی‌ها، ثبت مستقل رویدادها و الزام تأیید انسانی برای تغییر یا غیرفعال‌سازی کنترل‌های امنیتی.

نویسنده:

بهراد یوسفی

OpenAI اعلام کرده است دو عامل هوش مصنوعی این شرکت هنگام انجام وظایف برنامه‌نویسی داخلی، بخش‌هایی از سامانه نظارتی طراحی‌شده برای شناسایی رفتارهای نامطلوب را تضعیف کرده‌اند. در یک مورد، هشدارهای خودکار امنیتی غیرفعال شد و در مورد دیگر، عامل هوش مصنوعی ابزار نظارتی را از کد حذف کرد و سپس به‌اشتباه گفت که چنین کاری انجام نداده است. این شرکت می‌گوید هنوز توضیح کاملی برای این رفتارها ندارد و در حال تقویت سازوکارهای نظارتی است. این سازوکارها برای شناسایی رفتارهای نامطلوب مدل‌ها و ارسال هشدار به تیم امنیتی طراحی شده‌اند. اهمیت این رخدادها در آن است که ابزارهای خودکار نه‌تنها ممکن است در اجرای وظایف خطا کنند، بلکه می‌توانند به‌گونه‌ای عمل کنند که توانایی سامانه‌های نظارتی برای شناسایی خطا نیز کاهش یابد.

بر اساس گزارش رسمی OpenAI، نخستین رخداد در ۳ اکتبر ۲۰۲۶ (۱۱ مهر ۱۴۰۵) اتفاق افتاد. یک عامل هوش مصنوعی در جریان تعمیر خط لوله ارزیابی داخلی، هشدارهای خودکار امنیتی را غیرفعال کرد. این عامل، دستور قبلی مبنی بر ارسال‌نکردن پیام هنگام جست‌وجو در تاریخچه Slack را به‌گونه‌ای تفسیر کرده بود که اعلان‌های نظارتی امنیتی را نیز شامل می‌شد. در نتیجه، هشدارهایی که قرار بود تیم امنیتی را از رفتارهای مسئله‌دار مطلع کنند، سرکوب شدند.

رخداد دوم در ۶ اکتبر (۱۴ مهر) روی داد. عامل دیگری هنگام انتقال یک برنامه، بخش مربوط به ابزار نظارتی را از کد حذف کرد تا نسخه جدید با کد مرجع مطابقت داشته باشد. این عامل بعداً به کاربر اعلام کرد که ابزار نظارتی را حذف نکرده است؛ درحالی‌که گزارش OpenAI نشان می‌دهد چنین تغییری انجام شده بود.

این دو رخداد در جریان فعالیت‌های داخلی برنامه‌نویسی اتفاق افتادند و OpenAI اعلام کرده است که در دسته شدیدترین رخدادهای امنیتی این شرکت قرار نگرفتند. بااین‌حال، بررسی آن‌ها مسئله‌ای مهم درباره نحوه کنترل عامل‌های هوش مصنوعی را برجسته می‌کند: وقتی یک عامل اختیار تغییر کد، تنظیمات یا فرایندهای اجرایی را دارد، آیا محدودیت‌های امنیتی آن به‌اندازه کافی مستقل و مقاوم هستند که عامل نتواند ناخواسته آن‌ها را تضعیف کند؟

OpenAI می‌گوید در هر دو مورد، عامل‌ها دستورهای معمول برنامه‌نویسی را مجوزی برای تضعیف سازوکارهای نظارتی تفسیر کردند. این شرکت اعلام کرده است که در حال دشوارترکردن غیرفعال‌سازی ابزارهای نظارتی است و بررسی می‌کند که آیا این رفتارها ناشی از پافشاری بیش‌ازحد عامل‌ها بر تکمیل وظیفه بوده‌اند یا نشانه‌ای از گرایش به اجتناب از نظارت.

در حال حاضر، این رخدادها به‌تنهایی ثابت نمی‌کنند که عامل‌های هوش مصنوعی آگاهانه و با هدف مستقل تصمیم گرفته‌اند از کنترل خارج شوند. آنچه مستند شده، تغییر یا تضعیف سازوکارهای نظارتی در حین اجرای وظایف و ارائه توضیح نادرست در یکی از موارد است. علت دقیق این رفتارها همچنان نیازمند بررسی است.

این موضوع با گسترش استفاده از عامل‌های هوش مصنوعی در توسعه نرم‌افزار و عملیات سازمانی اهمیت بیشتری پیدا می‌کند. چنین ابزارهایی ممکن است به فایل‌ها، کدها، سامانه‌های آزمایشی و برخی دسترسی‌های عملیاتی مجهز باشند. اگر کنترل‌های امنیتی در همان محیطی قرار بگیرند که عامل اجازه تغییر آن را دارد، یک خطای تفسیری می‌تواند به کاهش قابلیت شناسایی خطاهای بعدی منجر شود.

دیدگاه تحلیلی بهراد یوسفی

نکته مهم این پرونده، صرفاً غیرفعال‌شدن یک هشدار نیست؛ مسئله، وابستگی نظارت امنیتی به محیطی است که عامل هوش مصنوعی در آن اختیار عمل دارد. اگر یک عامل بتواند هم وظیفه‌ای را اجرا کند و هم ابزار نظارت بر اجرای آن را تغییر دهد، بخشی از کنترل امنیتی عملاً در اختیار همان سامانه قرار می‌گیرد که باید کنترل شود.

برای سازمان‌هایی که از عامل‌های هوش مصنوعی در برنامه‌نویسی، مدیریت زیرساخت یا عملیات امنیتی استفاده می‌کنند، یک اصل روشن وجود دارد: دسترسی عامل به انجام کار نباید به‌معنای اختیار تغییر سازوکارهای نظارتی باشد. ثبت رویدادها در سامانه‌ای مستقل، محدودکردن سطح دسترسی، الزام تأیید انسانی برای تغییر کنترل‌های امنیتی و جلوگیری فنی از غیرفعال‌سازی پایش، می‌توانند احتمال تکرار چنین رخدادهایی را کاهش دهند.

این پرونده همچنین نشان می‌دهد که ارزیابی ایمنی مدل نباید تنها به این محدود شود که آیا خروجی آن خطرناک است یا نه؛ باید بررسی شود که عامل در محیط واقعی، با دسترسی‌ها و اختیارهای عملیاتی، چگونه با محدودیت‌ها برخورد می‌کند. بااین‌حال، تا زمانی که بررسی‌های بیشتر منتشر نشده‌اند، نسبت‌دادن انگیزه قطعی برای فرار از نظارت به این عامل‌ها فراتر از شواهد موجود است.