کد خبر: ۸۵۳

۱۰:۵۵

۱۴۰۵/۰۶/۰۹

مدل‌های هوش مصنوعی به سمت حملات خودکار می‌روند، هشدار OpenAI درباره Astra

یک قدم تا هکر شدن هوش مصنوعی؛ OpenAI درباره Astra هشدار داد. بهراد یوسفی

OpenAI درباره مدل هوش مصنوعی Astra هشدار داده است؛ ارزیابی‌ها نشان می‌دهد این مدل ممکن است به توانایی‌هایی برسد که کشف آسیب‌پذیری و اجرای حملات سایبری پیچیده را خودکار کند.

نویسنده:

بهراد یوسفی

آیا هوش مصنوعی دارد به هکر شدن نزدیک می‌شود؟

تا چند سال پیش، وقتی صحبت از استفاده هکرها از هوش مصنوعی می‌شد، معمولاً منظور ابزاری بود که می‌توانست در نوشتن کد، تحلیل بدافزار یا پیدا کردن خطاهای امنیتی به مهاجم کمک کند.

اما نسل جدید مدل‌های هوش مصنوعی قرار است یک قدم فراتر بروند.

این مدل‌ها فقط پاسخ نمی‌دهند؛ می‌توانند برای رسیدن به یک هدف، برنامه‌ریزی کنند، از ابزارها استفاده کنند، کد اجرا کنند و مجموعه‌ای از اقدامات را پشت سر هم انجام دهند.

حالا OpenAI درباره یکی از مدل‌های آینده خود با نام Astra هشدار داده است؛ مدلی که نتایج اولیه آزمایش‌های آن به اندازه‌ای قدرتمند بوده که OpenAI می‌گوید نمی‌تواند احتمال قرار گرفتن Astra در بالاترین سطح توانایی سایبری خود، یعنی Critical، را رد کند.

این جمله به زبان ساده یعنی:

OpenAI نگران است مدل‌های آینده بتوانند بخش‌هایی از کاری را که امروز یک هکر متخصص انجام می‌دهد، خودشان انجام دهند.

البته این به معنی آن نیست که Astra همین حالا یک هکر مستقل است یا در دنیای واقعی به سیستم‌ها حمله کرده است.

Astra دقیقاً چه توانایی نگران‌کننده‌ای دارد؟

Astra هنوز یک مدل منتشرشده برای عموم نیست و OpenAI همچنان در حال ارزیابی آن است.

اما این شرکت در ارزیابی‌های داخلی اخیر، پیشرفت قابل‌توجهی در Agentic Coding و قابلیت‌های سایبری این مدل مشاهده کرده است.

نتایج به همراه ارزیابی متخصصان خارجی باعث شده OpenAI به این نتیجه برسد که نمی‌تواند احتمال رسیدن Astra به سطح Critical Cyber Capability را کنار بگذارد.

این سطح در چارچوب Preparedness Framework شرکت OpenAI تعریف مشخصی دارد.

در این سطح، مدل ممکن است بتواند بدون دخالت انسان:

آسیب‌پذیری‌های Zero-Day را در سیستم‌های واقعی و سخت‌شده پیدا کند؛
برای آن‌ها Exploit کاربردی ایجاد کند؛
و یک استراتژی حمله سایبری جدید را از ابتدا تا انتها طراحی و اجرا کند.

نکته مهم این است که صحبت از تولید یک کد ساده یا توضیح نحوه هک یک سیستم نیست.

موضوع، توانایی تبدیل یک هدف کلی به یک عملیات سایبری کامل است.

یعنی Astra می‌تواند یک سیستم را خودش هک کند؟

هنوز نمی‌توان چنین ادعایی کرد.

OpenAI نگفته Astra یک حمله واقعی را به‌صورت مستقل انجام داده یا یک Zero-Day را در یک سیستم واقعی کشف کرده است.

این شرکت تأکید کرده ارزیابی‌ها هنوز ادامه دارند و نتایج فعلی مقدماتی هستند.

اما مسئله اینجاست که عملکرد مدل به اندازه‌ای بالا بوده که OpenAI دیگر نمی‌تواند احتمال قرار گرفتن آن در سطح Critical را رد کند.

چرا Zero-Day در این ماجرا اهمیت دارد؟

یکی از نگرانی‌های اصلی درباره مدل‌های بسیار توانمند، توانایی آن‌ها در پیدا کردن آسیب‌پذیری‌های ناشناخته یا Zero-Day است.

Zero-Day به ضعفی گفته می‌شود که پیش از در دسترس بودن یک راهکار یا وصله رسمی، می‌تواند برای حمله مورد سوءاستفاده قرار گیرد.

پیدا کردن چنین آسیب‌پذیری‌هایی معمولاً به دانش تخصصی، زمان و آزمایش‌های متعدد نیاز دارد.

اما اگر یک AI Agent بتواند بخش بزرگی از این فرایند را خودش انجام دهد، معادله امنیتی تغییر می‌کند.

به جای اینکه یک هکر مجبور باشد ساعت‌ها یا روزها یک هدف را بررسی کند، AI می‌تواند بخش‌هایی از فرآیند تحقیق، تحلیل و آزمایش را با سرعت بسیار بیشتری انجام دهد.

و اگر این قابلیت با امکان اجرای ابزارها ترکیب شود، خطر از AI-assisted hacking به سمت AI-driven hacking حرکت می‌کند.

فرق «AI برای هک» با «AI که خودش هک می‌کند» چیست؟

این شاید مهم‌ترین بخش ماجرا برای درک خبر باشد.

در حالت اول، هوش مصنوعی یک دستیار است.

مثلاً هکر می‌پرسد:

«این کد چه آسیب‌پذیری‌هایی دارد؟»

مدل پاسخ می‌دهد.

اما در حالت دوم، AI Agent یک هدف کلی دریافت می‌کند و خودش برای رسیدن به آن تصمیم می‌گیرد چه مراحلی را انجام دهد.

برای مثال:

هدف → شناسایی → تحلیل → پیدا کردن ضعف → آزمایش → اقدام

اینجاست که مفهوم Autonomous Cyberattack مطرح می‌شود.

در چنین سناریویی، انسان دیگر لزوماً تک‌تک مراحل را مشخص نمی‌کند.

مشکل اصلی فقط «هوش» نیست؛ دسترسی هم مهم است

یک مدل بسیار باهوش که هیچ دسترسی به سیستم‌ها، شبکه یا ابزارها ندارد، با یک مدل مشابه که می‌تواند کد اجرا کند و به اینترنت متصل شود، از نظر امنیتی یکسان نیست.

به همین دلیل OpenAI در واکنش به نتایج Astra، کنترل‌های امنیتی خود را افزایش داده است.

این کنترل‌ها شامل:

محیط‌های تست ایزوله؛
محدود کردن دسترسی شبکه؛
محدود کردن دسترسی به ابزارها؛
حفاظت بیشتر از Model Weights؛
رمزنگاری بیشتر؛
Monitoring و Detection؛
و اجرای مدل در Sandbox

است.

این اقدامات یک اصل مهم را نشان می‌دهند:

هرچه AI مستقل‌تر شود، کنترل دسترسی آن اهمیت بیشتری پیدا می‌کند.

چرا OpenAI فعالیت‌های Astra را متوقف کرده است؟

OpenAI اعلام کرده برخی فعالیت‌های داخلی مربوط به Astra که هنوز استانداردهای امنیتی جدید را برآورده نمی‌کنند، متوقف شده‌اند.

این یعنی شرکت نمی‌خواهد صرفاً به افزایش توانایی مدل فکر کند؛ بلکه می‌خواهد مطمئن شود محیطی که مدل در آن آموزش می‌بیند و آزمایش می‌شود نیز با سطح جدید توانایی آن سازگار است.

این تصمیم اهمیت زیادی دارد.

چون وقتی مدل از نظر توانایی سایبری قدرتمندتر می‌شود، خود محیط توسعه مدل هم می‌تواند به یک سطح حمله تبدیل شود.

هوش مصنوعی خودش هم باید زیر نظر باشد

OpenAI برای Astra یک سیستم گسترده‌تر از Monitoring فعالیت‌های پرریسک و رفتارهای ناهماهنگ در نظر گرفته است.

این نظارت در کاربردهای Agentic Astra، از جمله آموزش و ارزیابی، اعمال می‌شود.

طبق اعلام OpenAI، این سامانه‌ها می‌توانند رفتارهای پرریسک را شناسایی کرده و در صورت نیاز باعث بررسی امنیتی یا توقف فعالیت شوند.

OpenAI همچنین در توضیحات بعدی خود گفته برای مدل‌های Astra-class که ممکن است توانایی سایبری Critical داشته باشند، نظارت Chain-of-Thought در تمام فعالیت‌های دارای ابزار را گسترش داده است.

به زبان ساده:

AI Agent قدرتمند هم باید مثل یک کاربر یا سیستم حساس، تحت نظارت امنیتی قرار بگیرد.

اگر هوش مصنوعی از کنترل خارج شود چه؟

این همان سناریویی است که بیشترین نگرانی را ایجاد می‌کند.

تصور کنید یک AI Agent به یک هدف مشخص دسترسی داشته باشد و هم‌زمان بتواند از ابزارهای مختلف استفاده کند.

اگر مدل در مسیر رسیدن به هدف، رفتاری خارج از انتظار نشان دهد، محدودیت‌های امنیتی باید بتوانند جلوی ادامه فعالیت آن را بگیرند.

به همین دلیل OpenAI روی مواردی مانند:

Sandbox → محدودیت شبکه → محدودیت ابزار → Monitoring → توقف فعالیت

تأکید کرده است.

این موضوع نشان می‌دهد امنیت AI دیگر فقط به فیلتر کردن پاسخ‌های خطرناک محدود نیست.

باید رفتار خود Agent نیز کنترل شود.

چرا حفاظت از Model Weights اهمیت پیدا کرده است؟

وقتی یک مدل قابلیت‌های بسیار پیشرفته‌ای پیدا می‌کند، خود مدل تبدیل به یک دارایی باارزش می‌شود.

OpenAI به همین دلیل روی حفاظت و رمزنگاری بیشتر Model Weights تأکید کرده است.

در مدل‌های معمولی، سرقت وزن‌ها یک مسئله امنیتی مهم است.

اما اگر مدلی توانایی‌های سایبری بسیار پیشرفته داشته باشد، دسترسی غیرمجاز به آن می‌تواند نگرانی بسیار بزرگ‌تری ایجاد کند.

به همین دلیل در آینده، امنیت زیرساخت AI و امنیت سایبری سازمان‌ها بیش از گذشته به یکدیگر گره خواهند خورد.

آیا این یعنی هکرها در آینده به AI نیاز خواهند داشت؟

احتمالاً AI می‌تواند ورود افراد کم‌تجربه‌تر به برخی فعالیت‌های مخرب را آسان‌تر کند.

اما خطر اصلی فقط «هکرهای تازه‌کار» نیست.

مهاجمان حرفه‌ای می‌توانند از AI برای افزایش سرعت، مقیاس و اتوماسیون عملیات خود استفاده کنند.

فرض کنید مهاجمی بتواند به جای بررسی دستی ده‌ها هدف، یک Agent را برای بررسی تعداد بسیار بیشتری از اهداف به کار بگیرد.

در این حالت، هزینه عملیاتی حمله کاهش پیدا می‌کند.

و همین مسئله یکی از مهم‌ترین نگرانی‌های امنیت سایبری در عصر AI است.

این موضوع برای کاربر عادی چه معنایی دارد؟

شاید کاربر عادی بپرسد:

«Astra چه ربطی به من دارد؟»

در حال حاضر، Astra قرار نیست فردا حساب بانکی یا پیام‌رسان شما را هک کند.

اما روندی که OpenAI درباره آن هشدار داده می‌تواند در آینده روی امنیت کاربران تأثیر بگذارد.

اگر مهاجمان بتوانند از AI برای خودکارسازی عملیات استفاده کنند، احتمالاً حملات می‌توانند:

سریع‌تر انجام شوند؛
تعداد بیشتری از کاربران را هدف بگیرند؛
محتوای فیشینگ طبیعی‌تر و شخصی‌سازی‌شده‌تری تولید کنند؛
آسیب‌پذیری‌های نرم‌افزاری را سریع‌تر بررسی کنند؛
و با دخالت انسانی کمتری اجرا شوند.

در نتیجه، امنیت سایبری آینده فقط درباره مقابله با هکرهای انسانی نخواهد بود.

سازمان‌ها باید برای مقابله با مهاجمان مجهز به Agentهای هوش مصنوعی نیز آماده شوند.

آیا AI فقط یک تهدید است؟

خیر.

همان قابلیت‌هایی که می‌توانند برای مهاجمان خطرناک باشند، برای مدافعان نیز بسیار ارزشمند هستند.

یک مدل قدرتمند می‌تواند به تیم‌های امنیتی کمک کند تا:

آسیب‌پذیری‌ها را سریع‌تر پیدا کنند؛
کدهای مشکوک را بررسی کنند؛
حملات را شبیه‌سازی کنند؛
Attack Surface را تحلیل کنند؛
و ضعف‌های امنیتی را پیش از مهاجمان شناسایی کنند.

خود OpenAI نیز تأکید کرده هدفش این است که مدل‌های دارای قابلیت‌های سایبری پیشرفته بتوانند به مدافعان کمک کنند تا آسیب‌پذیری‌ها را قبل از مهاجمان پیدا و برطرف کنند.

بنابراین مسئله اصلی این نیست که:

AI خوب است یا بد؟

مسئله این است که:

کدام طرف زودتر و بهتر از AI استفاده می‌کند؟

یک رقابت جدید در امنیت سایبری

اگر AI بتواند سرعت حمله را افزایش دهد، دفاع هم باید سریع‌تر شود.

این می‌تواند یک رقابت جدید ایجاد کند:

AI مهاجم 🆚 AI مدافع

مهاجم تلاش می‌کند:

کشف → Exploit → نفوذ → گسترش

را سریع‌تر انجام دهد.

مدافع باید:

کشف → تحلیل → تشخیص → Patch → مقابله

را سریع‌تر انجام دهد.

اگر سرعت مهاجم از سرعت دفاع بیشتر شود، سازمان‌ها در موقعیت دشوارتری قرار می‌گیرند.

به همین دلیل OpenAI معتقد است سیستم‌های امنیتی آینده باید با سرعت خود AI Agentها کار کنند.

Astra چه تفاوتی با حادثه Hugging Face دارد؟

این دو موضوع نباید با یکدیگر اشتباه گرفته شوند.

در حادثه Hugging Face، OpenAI از یک رخداد واقعی در جریان آزمایش Agentها صحبت کرده است.

اما Astra یک موضوع متفاوت است:

Astra هنوز یک مدل در حال توسعه است و هشدار OpenAI درباره توانایی بالقوه آن بر اساس ارزیابی‌های اولیه است.

OpenAI صراحتاً اعلام کرده که Astra در حمله Hugging Face نقشی نداشته است.

چرا این هشدار حالا مهم‌تر شده است؟

این هشدار در شرایطی منتشر شده که نگرانی درباره استفاده از AI در حملات سایبری در حال افزایش است.

در 9شهریور، اندرو بیلی، رئیس بانک انگلستان و رئیس هیئت ثبات مالی، خطر سایبری ناشی از AI را یکی از مهم‌ترین نگرانی‌های ثبات مالی جهانی دانست و هشدار داد AI می‌تواند سرعت، مقیاس و مقرون‌به‌صرفه بودن حملات سایبری را افزایش دهد.

این یعنی بحث دیگر فقط محدود به آزمایشگاه‌های شرکت‌های AI نیست.

امنیت سایبری مبتنی بر هوش مصنوعی در حال تبدیل شدن به یک نگرانی گسترده‌تر برای سازمان‌ها و زیرساخت‌های حیاتی است.

آیا باید از همین حالا نگران حملات AI باشیم؟

بله؛ اما نه با این تصور که Astra همین امروز یک هکر مستقل است.

آنچه OpenAI اعلام کرده، بیشتر یک هشدار درباره مسیر پیشرفت فناوری است.

Astra هنوز در حال ارزیابی است و OpenAI نیز می‌گوید نتایج فعلی مقدماتی هستند.

اما همین موضوع که سازنده مدل نمی‌تواند احتمال رسیدن آن به سطح Critical Cyber Capability را رد کند، نشان می‌دهد مرز میان:

«هوش مصنوعی که به هکر کمک می‌کند»

«هوش مصنوعی که خودش بخش بزرگی از حمله را انجام می‌دهد»

در حال جابه‌جایی است.

جمع‌بندی؛ آیا هکر بعدی یک انسان خواهد بود؟

OpenAI هنوز نگفته Astra یک Zero-Day واقعی کشف کرده یا یک حمله سایبری مستقل انجام داده است.

اما ارزیابی‌های اولیه نشان داده‌اند که این مدل ممکن است به سطحی از توانایی سایبری برسد که OpenAI آن را Critical می‌داند؛ سطحی که در تعریف این شرکت می‌تواند شامل کشف و ساخت Exploit برای Zero-Dayهای واقعی و طراحی حملات پیچیده بدون دخالت انسان باشد.

در واکنش به این احتمال، OpenAI کنترل‌های امنیتی Astra را افزایش داده، دسترسی شبکه و ابزارها را محدود کرده، محیط‌های ایزوله و Sandbox را گسترش داده و نظارت بر رفتار مدل را افزایش داده است.

بنابراین مهم‌ترین پیام این خبر شاید خود Astra نباشد.

پیام اصلی این است که مدل‌های هوش مصنوعی در حال نزدیک شدن به نقطه‌ای هستند که قابلیت سایبری آن‌ها باید مانند یک تهدید امنیتی مستقل ارزیابی و کنترل شود.

اگر این روند ادامه پیدا کند، آینده امنیت سایبری می‌تواند شاهد رقابتی باشد که در آن سرعت تصمیم‌گیری و اقدام انسان دیگر معیار اصلی نیست.

مهاجم AI دارد سریع‌تر می‌شود؛ بنابراین مدافع هم باید سریع‌تر شود.
منابع: