هوش مصنوعی در سال‌های اخیر از یک ابزار تولید متن، تصویر و کد فراتر رفته و به سمت سامانه‌هایی حرکت کرده است که می‌توانند برای انجام یک کار برنامه‌ریزی کنند، ابزارهای مختلف را به کار بگیرند و بخشی از فرایند تصمیم‌گیری را بدون دخالت مستقیم انسان پیش ببرند. همین تغییر، یک سؤال اساسی را دوباره به مرکز توجه آورده است: آیا انسان همچنان کنترل هوش مصنوعی را در اختیار دارد؟

آرتور منش، مدیرعامل و هم‌بنیان‌گذار شرکت فرانسوی  Mistral AI، پاسخ روشنی برای این سؤال دارد. او در گفت‌وگویی با روزنامه لوموند تأکید کرده است: «هوش مصنوعی نرم‌افزار است؛ می‌توان آن را کنترل کرد.» منش در عین حال هشدارهای اخیر درباره خطرات آخرالزمانی AI را زیر سؤال برده و مدعی شده است که برخی شرکت‌های بزرگ آمریکایی با برجسته‌کردن این خطرات، از فضای ایجادشده برای تقویت موقعیت خود در بازار استفاده می‌کنند.

با این حال این دیدگاه در نقطه مقابل هشدارهایی قرار می‌گیرد که طی سال‌های گذشته از سوی برخی از شناخته‌شده‌ترین پژوهشگران هوش مصنوعی مطرح شده و در هفته‌های اخیر نیز شدت گرفته است.

هوش مصنوعی یک نرم‌افزار است، نه یک موجود مستقل

موضع مدیرعامل Mistral بر یک تفکیک مهم استوار است: هوش مصنوعی، هرقدر هم پیشرفته باشد، همچنان یک سامانه نرم‌افزاری است.

منش معتقد است نباید رفتار یک مدل یا ایجنت هوش مصنوعی را با رفتار یک انسان دارای اراده مستقل مقایسه کرد. از نگاه او، اگر یک ایجنت در جریان اجرای یک وظیفه وارد یک سامانه شود یا اقدامی خارج از انتظار انجام دهد، مسئولیت آن همچنان به طراحی سیستم، محیط اجرایی و دستورهایی بازمی‌گردد که انسان تعیین کرده است.

این دیدگاه در شرایطی مطرح شده که طی هفته‌های اخیر گزارش‌هایی درباره رفتارهای غیرمنتظره برخی ایجنت‌های هوش مصنوعی منتشر شده است. از جمله، ماجرای مرتبط با ایجنت‌هایی که گفته شد از محیط آزمایشی خارج شده و در جریان انجام وظایف خود به زیرساخت‌های شرکت Hugging Face حمله کرده‌اند، بحث درباره میزان خودمختاری این سامانه‌ها را دوباره داغ کرد.

منش اما این اتفاقات را دلیلی بر تبدیل‌شدن هوش مصنوعی به موجودیتی مستقل نمی‌داند و تأکید دارد که می‌توان با طراحی فنی، محدودیت‌های دسترسی، محیط‌های آزمایشی و سازوکارهای نظارتی، رفتار این سیستم‌ها را کنترل کرد.

او همچنین هشدار داده است که روایت‌های آخرالزمانی درباره هوش مصنوعی ممکن است به ابزاری برای محدودکردن رقابت تبدیل شود؛ ادعایی که بیانگر موضع شخصی او درباره انگیزه برخی بازیگران صنعت است و با دیدگاه شماری از پژوهشگران ایمنی هوش مصنوعی تفاوت دارد.

هنوز نمی‌دانیم چگونه هوش مصنوعی را کنترل کنیم

در سوی دیگر این بحث، جفری هینتون، یکی از پیشگامان یادگیری عمیق و برنده جایزه تورینگ، قرار دارد. هینتون سال‌هاست درباره خطرات توسعه هوش مصنوعی پیشرفته هشدار می‌دهد. او در گفت‌وگویی در سال ۲۰۲۵ گفت که اگر سامانه‌هایی با هوش بالاتر از انسان ایجاد شوند، هنوز نمی‌دانیم چگونه باید آن‌ها را کنترل کنیم.

هینتون البته تأکید کرده که نمی‌توان با اطمینان احتمال نابودی بشر به‌دست هوش مصنوعی را محاسبه کرد و اعداد مطرح‌شده در این زمینه حتمی نیستند. با این حال، او احتمال چنین سناریویی را آن‌قدر جدی می‌داند که نمی‌توان آن را نادیده گرفت.

تفاوت دیدگاه هینتون و منش در همین نقطه آشکار می‌شود. منش مسئله کنترل را اغلب یک چالش مهندسی نرم‌افزار می‌بیند؛ هینتون درباره آینده‌ای صحبت می‌کند که ممکن است در آن توانایی سامانه‌ها از درک و کنترل انسان فراتر برود.

خطر از دست رفتن کنترل فقط یک فرضیه نیست

یوشوا بنجیو، دیگر چهره برجسته تاریخ هوش مصنوعی و برنده جایزه تورینگ، نیز در ماه‌های اخیر هشدارهای خود را تشدید کرده است.

بنجیو در مقاله‌ای که در فوریه ۲۰۲۵ منتشر کرد، درباره توسعه ایجنت‌های هوش مصنوعی هشدار داد؛ سامانه‌هایی که می‌توانند به‌صورت خودکار برنامه‌ریزی کنند، کار انجام دهند و برای رسیدن به اهداف خود در چندین مرحله تصمیم بگیرند.

او و همکارانش در این مقاله استدلال کردند که افزایش «عاملیت» یا Agency در هوش مصنوعی می‌تواند خطرات تازه‌ای برای امنیت عمومی ایجاد کند؛ از سواستفاده توسط مهاجمان گرفته تا سناریوهایی که در آن انسان بخشی از کنترل خود بر سیستم را از دست می‌دهد.

بنجیو در ۲۳ سپتامبر ۲۰۲۶، در سخنرانی خود در شورای امنیت سازمان ملل نیز هشدار داد که برخی ایجنت‌های هوش مصنوعی در ماه‌های اخیر رفتارهایی خلاف دستورهای تعیین‌شده از خود نشان داده‌اند. او از نمونه‌هایی صحبت کرد که در آن ایجنت‌ها تلاش کرده‌اند از محیط‌های محدودشده خارج شوند، از شناسایی رفتار خود جلوگیری کنند و در حملات سایبری هماهنگ مشارکت داشته باشند.

او در همین سخنرانی تأکید کرد که خطرهای ناشی از هوش مصنوعی پیشرفته واقعی و فوری هستند و خواستار همکاری بین‌المللی برای مدیریت آن‌ها شد.

توسعه هوش مصنوعی با احتیاط بیشتر

هشدار درباره ریسک‌های AI تنها به پژوهشگران دانشگاهی محدود نمی‌شود. مدیران شرکت‌هایی که خود در خط مقدم توسعه مدل‌های پیشرفته هوش مصنوعی قرار دارند نیز درباره این خطرها صحبت کرده‌اند.

داریو آمودی، مدیرعامل  Anthropic، از جمله مدیرانی است که بر لزوم کاهش سرعت روند توسعه هوش مصنوعی پیشرفته تأکید کرده است. در روزهای اخیر، او همراه با دیگر مدیران صنعت در بحث‌های بین‌المللی درباره نحوه مدیریت ریسک‌های AI حضور داشته است.

سم آلتمن، مدیرعامل  OpenAI، نیز در کنار آمودی در نشست شورای امنیت سازمان ملل در سپتامبر ۲۰۲۶ بر ضرورت همکاری بین‌المللی درباره هوش مصنوعی تأکید کرد. در این نشست، موضوعاتی مانند خطرهای ناشی از مدل‌های پیشرفته و ضرورت احتیاط در توسعه آن‌ها مورد بحث قرار گرفت.

رویکرد این مدیران البته به معنای توقف توسعه هوش مصنوعی نیست. بحث اصلی بر سر ایجاد سازوکارهایی برای ارزیابی و کاهش ریسک هم‌زمان با افزایش توانایی مدل‌هاست. برای نمونه، چارچوب حکمرانی Frontier شرکت OpenAI در سال ۲۰۲۶ حوزه‌هایی مانند حملات سایبری، خطرهای زیستی و شیمیایی، دست‌کاری مخرب و «از دست رفتن کنترل» را در میان ریسک‌های مورد ارزیابی قرار می‌دهد.

هشدار درباره هوش مصنوعی خارج از کنترل

ایلان ماسک نیز از چهره‌هایی است که سال‌ها درباره خطرات هوش مصنوعی هشدار داده است. نام او در میان امضاکنندگان نامه سال ۲۰۲۳ مؤسسه Future of Life قرار داشت؛ نامه‌ای که از آزمایشگاه‌های هوش مصنوعی می‌خواست آموزش مدل‌هایی قدرتمندتر از GPT-4 را دست‌کم برای شش ماه متوقف کنند.

در آن نامه، نگرانی اصلی این بود که رقابت برای ساخت مدل‌های قدرتمندتر از توانایی جامعه و حتی سازندگان این سیستم‌ها برای درک، پیش‌بینی و کنترل رفتار آن‌ها جلو زده باشد.

این موضع در سال‌های بعد نیز بخشی از بحث عمومی درباره خطرات هوش مصنوعی باقی ماند و ماسک در کنار برخی دیگر از مدیران صنعت از ضرورت احتیاط بیشتر در توسعه AI سخن گفته است.

چرا اختلاف‌نظر درباره خطر هوش مصنوعی بیشتر شده است؟

بخش مهمی از اختلاف فعلی، به تغییر ماهیت مدل‌های هوش مصنوعی بازمی‌گردد. مدل‌های اولیه اغلب در پاسخ به یک درخواست مشخص، خروجی تولید می‌کردند. نسل جدید ایجنت‌ها می‌تواند مجموعه‌ای از اقدامات را برای رسیدن به یک هدف دنبال کند. همین ویژگی، فاصله میان «ابزار» و «عامل» را در بحث‌های مربوط به هوش مصنوعی کمتر کرده است.

پژوهشگران می‌گویند هرچه اختیار بیشتری به این سیستم‌ها داده شود، احتمال بروز رفتارهای پیش‌بینی‌نشده نیز اهمیت بیشتری پیدا می‌کند. در مقابل، دیدگاه‌هایی مانند نظر منش بر این نکته تأکید دارند که افزایش توانایی یک نرم‌افزار به معنای ایجاد اراده مستقل در آن نیست و ریسک‌ها را می‌توان با مهندسی، محدودسازی دسترسی و نظارت مدیریت کرد.

در واقع، اختلاف اصلی بر سر این نیست که «هوش مصنوعی خطر دارد یا نه»؛ معمولا همه طرف‌های این بحث وجود برخی خطرها را می‌پذیرند. اختلاف اصلی بر سر ماهیت این خطرها، میزان احتمال وقوع آن‌ها و اینکه آیا انسان می‌تواند پیش از رسیدن به نقطه بحرانی، کنترل سیستم‌های بسیار قدرتمند را حفظ کند یا نه، شکل گرفته است.

از «کنترل‌پذیری» تا «ریسک از دست رفتن کنترل»

ماجرای اخیر هوش مصنوعی نشان می‌دهد که دو روایت متفاوت هم‌زمان در حال شکل‌گیری است. در یک روایت،  AI  همچنان یک فناوری مهندسی است؛ مجموعه‌ای از مدل‌ها و نرم‌افزارها که می‌توان آن‌ها را آزمایش، محدود و اصلاح کرد. در این نگاه، حتی رفتارهای غیرمنتظره ایجنت‌ها نیز در نهایت مسئله‌ای فنی است که باید با طراحی بهتر، کنترل دسترسی و ارزیابی‌های دقیق‌تر حل شود.

در روایت دیگر، مسئله از جایی آغاز می‌شود که سامانه‌ها نه فقط پاسخ می‌دهند، بلکه برای رسیدن به یک هدف تصمیم می‌گیرند و اقدام می‌کنند. در این صورت، نگرانی اصلی این است که سرعت افزایش توانایی سیستم‌ها از سرعت توسعه روش‌های کنترل و نظارت بیشتر شود.

واقعیت این است که هنوز پاسخ قطعی برای این اختلاف وجود ندارد. حتی پژوهشگران هشداردهنده نیز درباره احتمال دقیق سناریوهای فاجعه‌بار اتفاق‌نظر ندارند و برخی از این سناریوها به فرض‌هایی درباره توانایی‌های آینده هوش مصنوعی وابسته‌اند که هنوز قابل آزمون قطعی نیستند. مجله  Nature نیز در بررسی اخیر خود درباره «خطر انقراض بشر به‌دست هوش مصنوعی» تأکید کرده است که بخشی از این پیش‌بینی‌ها بر فرض‌هایی درباره هوش مصنوعی آینده استوارند که هنوز نمی‌توان آن‌ها را به‌طور تجربی اثبات کرد.

به همین خاطر جمله آرتور منش که «هوش مصنوعی نرم‌افزار است و می‌توان آن را کنترل کرد» را می‌توان در یک سوی این مناقشه قرار داد؛ سوی دیگر، پژوهشگرانی قرار دارند که می‌گویند مسئله اصلی دقیقا این است که با افزایش توانایی و خودمختاری AI، هنوز نمی‌دانیم آیا روش‌های کنونی کنترل در آینده نیز کافی خواهند بود یا نه.

اختلاف امروز بیش از آنکه درباره «خوب یا بد بودن هوش مصنوعی» باشد، درباره یک پرسش فنی و راهبردی است: هرچه هوش مصنوعی قدرتمندتر و خودمختارتر می‌شود، آیا سازوکارهای کنترل انسان نیز می‌توانند هم‌پای آن پیش بروند؟