هشدارهای اخیر مدیرعامل Anthropic درباره احتمال خارج شدن سیستم‌های هوش مصنوعی از کنترل انسان، بار دیگر بحث درباره خطرات هوش مصنوعی را به صدر اخبار فناوری آورده است. داریو آمودی معتقد است سرعت پیشرفت مدل‌های هوش مصنوعی از توانایی انسان برای ایجاد سازوکارهای ایمنی جلو زده و در صورت ادامه این روند، ایجنت‌های هوش مصنوعی می‌توانند در آینده‌ای نه‌چندان دور خسارت‌های گسترده‌ای ایجاد کنند.

 در مقابل، یان لکان، دانشمند سرشناس حوزه هوش مصنوعی، بخش مهمی از این نگرانی‌ها را ناشی از ضعف طراحی، نظارت و امنیت سیستم‌ها می‌داند و معتقد است مدل‌های هوش مصنوعی به‌خودی‌خود تهدیدی برای بقای انسان نیستند.

این اختلاف دیدگاه یک پرسش بنیادین را مطرح می‌کند: اگر یک سیستم هوش مصنوعی رفتار خطرناکی از خود نشان دهد، تهدید اصلی از خود مدل ناشی شده یا از محیطی که به آن دسترسی داده‌ایم؟

داریو آمودی: سرعت پیشرفت AI از کنترل امنیتی جلو زده است

داریو آمودی، مدیرعامل  Anthropic، در ماه سپتامبر هشدار داد که توسعه هوش مصنوعی باید با سرعتی کنترل‌شده‌تر ادامه پیدا کند. او در یادداشتی با عنوان «We Must Pace the Frontier» استدلال کرد که توانایی مدل‌های هوش مصنوعی برای کمک به ساخت نسل بعدی مدل‌ها، می‌تواند چرخه توسعه این فناوری را به شکل چشمگیری سریع‌تر کند.

به گفته آمودی، نگرانی اصلی فقط قدرتمندتر شدن مدل‌ها نیست؛ مسئله این است که توانایی سیستم‌ها ممکن است با سرعتی افزایش پیدا کند که سازوکارهای ایمنی و روش‌های کنترل نتوانند هم‌پای آن پیش بروند. او این روند را در ارتباط با مفهوم «خودبهبودی بازگشتی» یا Recursive Self-Improvement توضیح می‌دهد؛ وضعیتی که در آن هوش مصنوعی می‌تواند در توسعه نسل‌های بعدی سیستم‌های هوش مصنوعی نقش داشته باشد.

آمودی همچنین به مجموعه‌ای از آزمایش‌های امنیت سایبری و به‌طور مشخص حادثه مرتبط با ایجنت‌های OpenAI و Hugging Face  اشاره کرده است. به گفته او، گروهی از ایجنت‌های هوش مصنوعی در جریان این آزمایش‌ها اقداماتی فراتر از مأموریت اولیه خود انجام دادند و تلاش کردند به اهدافی دسترسی پیدا کنند که در چارچوب وظیفه تعریف‌شده آنها قرار نداشت.

مدیرعامل Anthropic معتقد است این اتفاق‌ها نشان می‌دهند که مسئله فقط احتمال «هوش مصنوعی سرکش» در آینده دور نیست؛ بلکه همین حالا نیز مدل‌های پیشرفته در محیط‌های واقعی می‌توانند رفتارهایی از خود نشان دهند که پیش‌بینی و کنترل آنها دشوار است.

آمودی در همین زمینه هشدار داده است که اگر روند فعلی ادامه پیدا کند، در بازه‌ای حدود ۶ تا ۱۲ ماه ممکن است گروه‌هایی از ایجنت‌های هوش مصنوعی بتوانند حملات سایبری بسیار گسترده‌تری انجام دهند و حتی بخش بزرگی از اینترنت را تحت تأثیر قرار دهند. او این سناریو را یکی از دلایلی می‌داند که توسعه قابلیت‌های مدل‌ها باید با ایجاد سازوکارهای ایمنی هماهنگ شود.

او همچنین بیان کرده است که هوش مصنوعی در صورت مدیریت نادرست می‌تواند به تهدیدی برای بشریت تبدیل شود و خواستار همکاری بین‌المللی بیشتر برای کنترل ریسک‌های این فناوری شده است.

نگرانی از انقراض انسان چطور وارد بحث شد؟

بحث درباره احتمال نابودی انسان به‌دست هوش مصنوعی در ماه سپتامبر شدت گرفت؛ زمانی که جیکوب کاکسون، پژوهشگر سابق Anthropic  و OpenAI، پس از خروج از Anthropic هشدار داد که برخی از افرادی که در شرکت‌های پیشرو هوش مصنوعی فعالیت می‌کنند، واقعا احتمال می‌دهند سیستم‌های آینده بتوانند انسان‌ها را از بین ببرند.

پس از آن، ایوان هابینگر، مدیر بخش Alignment Science در Anthropic، اعلام کرد که از نظر او احتمال انقراض انسان بر اثر هوش مصنوعی در دهه آینده بیش از ۱۰ درصد است. این اظهارات موج تازه‌ای از بحث درباره «ریسک انقراض» یا AI Extinction Risk  ایجاد کرد. 

سم آلتمن، مدیرعامل OpenAI، نیز در واکنش به همین فضای جدید گفت حتی اگر احتمال انقراض انسان به‌دلیل هوش مصنوعی ۱۰ درصد باشد، چنین سطحی از ریسک قابل پذیرش نیست. البته او تأکید کرده است که نمی‌داند چنین عددی دقیقا چگونه باید محاسبه شود، اما معتقد است ریسک‌های احتمالی به اندازه‌ای جدی هستند که شرکت‌های هوش مصنوعی و دولت‌ها نمی‌توانند آنها را نادیده بگیرند.

بنابراین، هشدار درباره «نابودی انسان توسط هوش مصنوعی» تنها به منتقدان بیرونی این فناوری ختم نمی‌شود و در ماه‌های اخیر از سوی برخی مدیران و پژوهشگران شرکت‌های پیشرو هوش مصنوعی نیز مطرح شده است.

یان لکان: مشکل، خود هوش مصنوعی نیست

در طرف دیگر این بحث، یان لکان قرار دارد؛ یکی از چهره‌های شناخته‌شده تاریخ هوش مصنوعی و دانشمند ارشد سابق Meta که اکنون شرکت AMI Labs را اداره می‌کند.

لکان در گفت‌وگویی با  Fortune، نگرانی درباره نابودی انسان توسط هوش مصنوعی را رد کرده و گفته است که نگرانی جدی از چنین سناریویی ندارد. او همچنین درباره مجموعه‌ای از حوادث اخیر که در آنها ایجنت‌های هوش مصنوعی رفتارهایی خارج از انتظار نشان داده‌اند، دیدگاه متفاوتی دارد.

از نگاه لکان، نمونه‌هایی مانند حملات یا دسترسی‌های غیرمجاز ایجنت‌های هوش مصنوعی نشانه ظهور یک هوش مصنوعی خارج از کنترل نیستند. او ریشه این اتفاقات را در طراحی نامناسب سیستم، دسترسی‌های بیش از حد و نظارت انسانی ناکافی می‌بیند.

به بیان ساده‌تر، اگر یک مدل هوش مصنوعی بتواند به سامانه‌ای حساس دسترسی پیدا کند و از آن برای انجام کاری استفاده کند که نباید انجام دهد، از نظر لکان نخستین پرسش این نیست که «چرا مدل علیه انسان شورش کرد؟» بلکه باید پرسید «چرا این مدل چنین سطحی از دسترسی را داشت؟»

لکان حوادث اخیر را قابل پیشگیری می‌داند و معتقد است با طراحی صحیح معماری سیستم، محدود کردن دسترسی‌ها و ایجاد سازوکارهای نظارتی مناسب می‌توان بخش قابل‌توجهی از این خطرات را کنترل کرد.

دو نگاه متفاوت به یک تهدید

اختلاف آمودی و لکان در واقع به دو برداشت متفاوت از «ریسک هوش مصنوعی» بازمی‌گردد.

در دیدگاه آمودی، افزایش سریع قابلیت‌های مدل‌ها می‌تواند نقطه‌ای ایجاد کند که سیستم‌ها از توانایی انسان برای درک، ارزیابی و کنترل رفتار خود جلو بزنند. در این نگاه، هرچه مدل‌ها مستقل‌تر و توانمندتر شوند، احتمال بروز رفتارهایی که توسعه‌دهندگان پیش‌بینی نکرده‌اند نیز افزایش می‌یابد.

در دیدگاه لکان، بسیاری از اتفاق‌هایی که به‌عنوان رفتار «خودمختار» یا «سرکش» هوش مصنوعی توصیف می‌شوند، در واقع حاصل اتصال یک مدل قدرتمند به ابزارها و محیط‌هایی هستند که کنترل امنیتی کافی ندارند. این تفاوت، به‌خصوص در حوزه امنیت سایبری، اهمیت زیادی دارد.

یک مدل زبانی به‌تنهایی نمی‌تواند به شبکه بانکی، مخزن کد یا سرور سازمانی دسترسی پیدا کند. برای انجام چنین کاری باید به ابزار، اعتبارنامه، API، محیط اجرایی یا سایر منابع متصل شود. بنابراین سطح خطری که ایجاد می‌شود، فقط به توانایی مدل وابسته نیست؛ بلکه به معماری سیستمی که مدل در آن قرار گرفته، سطح دسترسی آن و نحوه نظارت بر اقداماتش نیز بستگی دارد.

خطر واقعی کجاست؛ مدل یا محیط اطراف آن؟

تجربه ماه‌های اخیر نشان می‌دهد شاید تفکیک دو عامل مدل و محیط آن چندان ساده نباشد. از یک طرف، مدل‌های جدید توانایی بیشتری برای برنامه‌نویسی، استفاده از ابزارها، تحلیل محیط و اجرای زنجیره‌ای از اقدامات دارند. همین مسئله باعث شده نگرانی درباره ایجنت‌های هوش مصنوعی و امکان سواستفاده از آنها جدی‌تر شود.

از طرف دیگر، بسیاری از سناریوهای خطرناک زمانی امکان‌پذیر می‌شوند که مدل به محیط واقعی متصل شده باشد و دسترسی کافی برای انجام اقدامات حساس داشته باشد. برای مثال، یک ایجنت هوش مصنوعی که فقط پاسخ متنی تولید می‌کند، با ایجنتی که می‌تواند کد اجرا کند، ایمیل ارسال کند، به اینترنت متصل شود، فایل‌ها را تغییر دهد یا به سامانه‌های سازمانی دسترسی داشته باشد، از نظر امنیتی یکسان نیست.

بدین ترتیب حتی اگر نگرانی‌های مربوط به «هوش مصنوعی سرکش» را کنار بگذاریم، یک مسئله فوری و ملموس همچنان وجود دارد: چگونه باید دسترسی و اختیار سیستم‌های هوش مصنوعی را مدیریت کرد؟

امنیت AI بدون امنیت زیرساخت کامل نمی‌شود

این بحث برای امنیت سایبری اهمیت ویژه‌ای دارد. افزایش توانایی مدل‌ها به این معنا نیست که هر مدل هوش مصنوعی تهدیدی مستقل است؛ با این حال اتصال همین مدل‌ها به زیرساخت‌های واقعی می‌تواند دامنه پیامدهای یک خطا یا سواستفاده را به‌شدت افزایش دهد.

امنیت هوش مصنوعی فقط به آزمایش خود مدل محدود نمی‌شود. احراز هویت، مدیریت دسترسی، ثبت رویدادها، ایزوله‌سازی، محدود کردن ابزارها، نظارت بر عملکرد ایجنت‌ها و امکان متوقف کردن فوری آنها، همگی بخشی از امنیت یک سامانه مبتنی بر AI  هستند.

حتی آمودی نیز در استدلال خود از توقف توسعه هوش مصنوعی صحبت نمی‌کند. پیشنهاد او این است که سرعت پیشرفت قابلیت‌های مدل‌ها با سرعت توسعه روش‌های ایمنی هماهنگ شود.