مدیرعامل Anthropic: زمان آن رسیده سرعت توسعه هوش مصنوعی را کاهش دهیم

داریو آمودی (Dario Amodei)، مدیرعامل Anthropic، هشدار داده است که سرعت توسعه هوش مصنوعی باید کاهش پیدا کند تا سازوکارهای امنیتی و حفاظتی فرصت کافی برای همگام‌شدن با این فناوری را داشته باشند.

مدیرعامل Anthropic در یادداشتی جدید اعلام کرده است که صنعت هوش مصنوعی به نقطه‌ای رسیده که ادامه توسعه مدل‌های پیشرفته با سرعت فعلی می‌تواند ریسک‌های جدی ایجاد کند. به گفته او، در کنار فرصت‌های گسترده‌ای که هوش مصنوعی ایجاد می‌کند، خطراتی مانند سوءاستفاده از مدل‌های قدرتمند برای حملات سایبری نیز در حال افزایش است.

این هشدار در شرایطی مطرح شده که قابلیت مدل‌های جدید هوش مصنوعی برای انجام وظایف پیچیده، اجرای کد، کار با ابزارهای مختلف و فعالیت نسبتاً مستقل در محیط‌های دیجیتال با سرعت زیادی در حال پیشرفت است.

چرا Anthropic خواستار کاهش سرعت توسعه AI شده است؟

مشکل از نگاه آمودی صرفاً قدرتمندتر شدن مدل‌های هوش مصنوعی نیست؛ مسئله مهم‌تر این است که سرعت افزایش قابلیت‌های AI ممکن است از سرعت توسعه سازوکارهای امنیتی و کنترلی بیشتر شود.

مدل‌های جدید دیگر فقط ابزارهایی برای پاسخ‌گویی به سؤالات کاربران نیستند. آن‌ها می‌توانند در قالب AI Agent با سیستم‌های مختلف تعامل داشته باشند، کدنویسی کنند، اطلاعات جمع‌آوری کنند و در برخی سناریوها مجموعه‌ای از اقدامات را با دخالت بسیار محدود انسان انجام دهند.

از دیدگاه امنیت سایبری، این تحول اهمیت زیادی دارد؛ زیرا همان قابلیت‌هایی که می‌توانند بهره‌وری و اتوماسیون را افزایش دهند، در صورت سوءاستفاده می‌توانند برای خودکارسازی حملات سایبری نیز به کار گرفته شوند.

افزایش خطر حملات سایبری با هوش مصنوعی

یکی از مهم‌ترین نگرانی‌ها درباره توسعه سریع هوش مصنوعی، استفاده مهاجمان سایبری از این فناوری برای اجرای حملات پیچیده‌تر و سریع‌تر است.

یک عامل هوش مصنوعی می‌تواند در آینده یا حتی در برخی کاربردهای فعلی، در بخش‌هایی از فرایند حمله مانند شناسایی اهداف، جمع‌آوری اطلاعات، تحلیل آسیب‌پذیری‌ها، تولید کد و اجرای اقدامات مختلف نقش داشته باشد.

این موضوع می‌تواند معادله سنتی میان مهاجم و مدافع را تغییر دهد.

در گذشته، اجرای یک حمله سایبری پیچیده معمولاً به زمان، تخصص و نیروی انسانی قابل‌توجهی نیاز داشت. اما هوش مصنوعی می‌تواند بخشی از این فرایند را خودکار کند و در نتیجه، هزینه و زمان موردنیاز برای اجرای برخی حملات را کاهش دهد.

در چنین شرایطی، حتی مهاجمانی که از تخصص فنی بسیار بالایی برخوردار نیستند نیز ممکن است بتوانند از ابزارهای هوش مصنوعی برای اجرای عملیات پیچیده‌تر استفاده کنند.

AI Agent؛ چالش جدید امنیت سایبری

ظهور عامل‌های هوش مصنوعی یا AI Agentها یکی از مهم‌ترین تغییرات در اکوسیستم هوش مصنوعی محسوب می‌شود.

یک چت‌بات معمولی عمدتاً به درخواست کاربر پاسخ می‌دهد؛ اما یک Agent می‌تواند وظایف را به چند مرحله تقسیم کند، از ابزارهای مختلف استفاده کند و برای رسیدن به یک هدف مشخص چندین اقدام متوالی انجام دهد.

همین استقلال بیشتر، یک چالش امنیتی جدید ایجاد می‌کند.

اگر یک AI Agent به سیستم‌های سازمانی، پایگاه‌های داده، سرویس‌های ابری یا ابزارهای مدیریتی دسترسی داشته باشد، یک خطای نرم‌افزاری، پیکربندی اشتباه یا سوءاستفاده از آن می‌تواند پیامدهای بسیار گسترده‌تری نسبت به یک مدل معمولی داشته باشد.

به همین دلیل، کنترل دسترسی، ثبت فعالیت‌ها، نظارت مستمر و امکان قطع سریع دسترسی Agentها به یکی از موضوعات مهم امنیت سایبری تبدیل خواهد شد.

آمودی چه راهکاری پیشنهاد کرده است؟

مدیرعامل Anthropic بر ایجاد سازوکارهایی برای کنترل بهتر توسعه مدل‌های پیشرفته هوش مصنوعی تأکید دارد.

یکی از پیشنهادهای مهم، استفاده از ارزیاب‌های مستقل برای بررسی عملکرد و سازوکارهای ایمنی مدل‌های قدرتمند است. وجود ارزیابی مستقل می‌تواند به شناسایی زودتر رفتارهای خطرناک و ضعف‌های امنیتی کمک کند.

موضوع دیگر، ایجاد استانداردهای مشترک میان شرکت‌های فعال در حوزه هوش مصنوعی است. در شرایطی که شرکت‌ها برای توسعه مدل‌های قدرتمندتر با یکدیگر رقابت می‌کنند، نبود استانداردهای مشخص می‌تواند باعث شود ملاحظات امنیتی در برابر سرعت توسعه در اولویت پایین‌تری قرار بگیرند.

آمودی همچنین بر همکاری بیشتر دولت‌ها و ایجاد چارچوب‌های بین‌المللی برای مدیریت ریسک‌های هوش مصنوعی تأکید کرده است.

آیا منظور Anthropic توقف توسعه هوش مصنوعی است؟

خیر.

بحث مطرح‌شده بیشتر درباره تنظیم سرعت توسعه هوش مصنوعی است، نه توقف کامل این فناوری.

استدلال اصلی این است که اگر قابلیت‌های مدل‌های AI با سرعتی بسیار بیشتر از توانایی ما برای آزمایش، ارزیابی و ایمن‌سازی آن‌ها افزایش پیدا کند، ممکن است جامعه با فناوری‌هایی مواجه شود که هنوز سازوکارهای کافی برای کنترل ریسک‌های آن‌ها وجود ندارد.

در واقع، هدف این دیدگاه ایجاد نوعی تعادل میان نوآوری، سرعت توسعه و امنیت است.

این موضوع چه اهمیتی برای شرکت‌ها دارد؟

سازمان‌هایی که از هوش مصنوعی در زیرساخت‌های خود استفاده می‌کنند، نمی‌توانند امنیت AI را به آینده موکول کنند.

با افزایش استفاده از AI Agentها، شرکت‌ها باید بدانند هر سیستم هوش مصنوعی به چه منابعی دسترسی دارد و چه اقداماتی می‌تواند انجام دهد.

برخی از مهم‌ترین پرسش‌هایی که تیم‌های امنیت سایبری باید به آن‌ها پاسخ دهند عبارت‌اند از:

• چه سیستم‌هایی به هوش مصنوعی دسترسی دارند؟
• AI Agentها به چه داده‌ها و سرویس‌هایی متصل هستند؟
• آیا Agent می‌تواند بدون تأیید انسان اقدامات حساس انجام دهد؟
• فعالیت‌های هوش مصنوعی چگونه ثبت و بررسی می‌شوند؟
• در صورت مشاهده رفتار غیرعادی، آیا امکان قطع سریع دسترسی وجود دارد؟
• چه کسی مسئول نظارت بر فعالیت‌های AI در سازمان است؟
• آیا اطلاعات حساس سازمان در اختیار مدل‌های هوش مصنوعی قرار می‌گیرد؟

پاسخ به این پرسش‌ها می‌تواند نقش مهمی در کاهش ریسک‌های امنیتی ناشی از استفاده گسترده از هوش مصنوعی داشته باشد.

امنیت هوش مصنوعی دیگر یک موضوع فرعی نیست

هشدار مدیرعامل Anthropic نشان می‌دهد که بحث امنیت هوش مصنوعی دیگر محدود به آزمایشگاه‌های تحقیقاتی نیست.

هرچه مدل‌ها قدرتمندتر و مستقل‌تر شوند، احتمال استفاده از آن‌ها در حملات سایبری نیز افزایش پیدا می‌کند. در مقابل، مدافعان نیز می‌توانند از هوش مصنوعی برای شناسایی تهدیدها، تحلیل رفتار مهاجمان، کشف آسیب‌پذیری‌ها و واکنش سریع‌تر به حوادث امنیتی استفاده کنند.

بنابراین، آینده امنیت سایبری احتمالاً رقابتی میان هوش مصنوعی مهاجم و هوش مصنوعی مدافع خواهد بود.

جمع‌بندی

اظهارات داریو آمودی را می‌توان هشداری درباره شکاف احتمالی میان سرعت پیشرفت هوش مصنوعی و سرعت توسعه سازوکارهای امنیتی دانست.

هوش مصنوعی می‌تواند یکی از مهم‌ترین فناوری‌های تاریخ بشر باشد، اما افزایش قابلیت‌های آن بدون توجه همزمان به امنیت و کنترل می‌تواند خطرات جدیدی ایجاد کند.

برای صنعت امنیت سایبری، این مسئله اهمیت ویژه‌ای دارد. با ورود AI Agentها به زیرساخت‌های سازمانی و افزایش توانایی مدل‌ها در انجام فعالیت‌های پیچیده، مرز میان «ابزار هوشمند» و «عامل مستقل» روزبه‌روز کمرنگ‌تر می‌شود.

در نهایت، سؤال اصلی فقط این نیست که هوش مصنوعی با چه سرعتی پیشرفت می‌کند؛ بلکه این است که آیا سیستم‌های امنیتی و کنترلی ما می‌توانند با همین سرعت پیشرفت کنند یا خیر.