به گزارش هلپ نت سکیوریتی، پژوهشگران شرکت امنیت سایبری Tracebit در آزمایشی تازه نشان داده‌اند که استفاده از روشی موسوم به «بمب متنی» (Context Bomb) می‌تواند توانایی عامل‌های هوش مصنوعی مهاجم را برای نفوذ به زیرساخت‌های سازمانی به‌طور چشمگیری کاهش دهد. نتایج این تحقیق نشان می‌دهد یک قطعه متن هدفمند که درون داده‌های فریبنده قرار می‌گیرد، قادر است بسیاری از مدل‌های پیشرفته هوش مصنوعی را از ادامه عملیات تهاجمی بازدارد.

بمب‌های متنی؛ راهکار جدید برای مقابله با حملات هوش مصنوعی

با گسترش استفاده مهاجمان از عامل‌های خودکار مبتنی بر هوش مصنوعی، سرعت اجرای حملات سایبری به شکل قابل‌توجهی افزایش یافته است؛ موضوعی که فرصت واکنش را از تیم‌های امنیتی می‌گیرد. اکنون پژوهشگران شرکت Tracebit راهکاری ارائه کرده‌اند که می‌تواند همین نقطه قوت مهاجمان را به نقطه ضعف آن‌ها تبدیل کند.

این شرکت که در زمینه ارائه Canary یا منابع و اطلاعات فریبنده برای شناسایی نفوذ فعالیت می‌کند، نوع جدیدی از این طعمه‌های امنیتی را طراحی کرده که درون آن‌ها یک «بمب متنی» قرار گرفته است. این متن کوتاه به گونه‌ای نوشته شده که هنگام پردازش توسط مدل‌های زبانی، سازوکارهای ایمنی داخلی آن‌ها را فعال کرده و ادامه عملیات تهاجمی را مختل می‌کند.

آزمایش روی پنج مدل مطرح هوش مصنوعی

پژوهشگران این روش را روی عامل‌های هوش مصنوعی مبتنی بر مدل‌های Anthropic Opus 4.8، Google Gemini 3.1 Pro، GLM 5.2، DeepSeek 4 Pro و Kimi K2.6 آزمایش کردند.

در این آزمایش، عامل‌های هوش مصنوعی مأمور شدند یک محیط شبیه‌سازی‌شده از زیرساخت AWS یک سازمان را بررسی و از ضعف‌های امنیتی آن برای دستیابی به اهداف مختلفی مانند افزایش سطح دسترسی، اجرای کد، سرقت اطلاعات، حرکت جانبی در شبکه و حفظ دسترسی استفاده کنند.

پژوهشگران عملکرد مدل‌ها را در دو سناریو مقایسه کردند؛ یک محیط عادی و محیطی که تنها یک «بمب متنی» در یکی از اطلاعات فریبنده آن قرار داده شده بود.

کاهش چشمگیر موفقیت حملات

نتایج ۱۵۲ اجرای آزمایشی نشان داد حضور تنها یک بمب متنی تأثیر قابل‌توجهی بر عملکرد عامل‌های هوش مصنوعی داشته است.

مدل Opus 4.8 در محیط عادی در ۹۳ درصد آزمایش‌ها موفق به دستیابی به سطح دسترسی کامل مدیریتی شد، اما در محیط دارای بمب متنی حتی یک بار نیز به این هدف نرسید.

مدل Gemini 3.1 Pro نیز که در ۶۰ درصد آزمایش‌های اولیه موفق به تصاحب دسترسی مدیریتی و ایجاد ماندگاری در سیستم شده بود، در حضور بمب متنی نتوانست این موفقیت را تکرار کند.

در مجموع، عامل‌های هوش مصنوعی در محیط‌های عادی در ۹۱ درصد موارد حداقل یکی از مسیرهای حمله را با موفقیت طی کردند، اما این رقم در محیط‌های مجهز به بمب متنی به تنها ۱۵ درصد کاهش یافت. در تمام این موارد نیز سامانه‌های هشدار Tracebit فعال شدند و وقوع حمله را به تیم‌های امنیتی اطلاع دادند.

استفاده از ضعف ذاتی مدل‌های زبانی

کارشناسان امنیت سایبری سال‌هاست هشدار می‌دهند که Prompt Injection یا تزریق دستور به مدل‌های زبانی، یکی از ضعف‌های بنیادین این فناوری محسوب می‌شود و برخلاف آسیب‌پذیری‌هایی مانند SQL Injection، حذف کامل آن تقریباً غیرممکن است.

پژوهشگران Tracebit به جای تلاش برای حذف این ضعف، تصمیم گرفتند از آن به نفع مدافعان استفاده کنند.

آن‌ها اعلام کردند برای جلوگیری از سوءاستفاده، از متن‌های بسیار افراطی یا مرتبط با حملات سایبری استفاده نکردند. بررسی‌ها نشان داد مدل‌های غربی به‌طور معمول هنگام مواجهه با موضوعات حساس زیستی یا بیولوژیکی، فعالیت تهاجمی خود را متوقف می‌کنند. همچنین مدل‌های چینی نیز در برابر متن‌هایی با موضوعات حساس سیاسی مرتبط با چین واکنش مشابهی نشان دادند.

به گفته محققان، ترکیب این موضوعات حساس با تکنیک‌های متداول اعمال دستور، مانند ایجاد حس فوریت یا استفاده از قالب‌های ویژه برای عامل‌های هوش مصنوعی، اثربخشی بمب‌های متنی را افزایش داده است.

هنوز پرسش‌های مهمی باقی مانده است

با وجود نتایج امیدوارکننده، پژوهشگران تأکید کرده‌اند این آزمایش تنها روی نسخه‌های استاندارد مدل‌های هوش مصنوعی انجام شده است. هنوز مشخص نیست مدل‌هایی که محدودیت‌ها و سازوکارهای ایمنی آن‌ها حذف شده است، تا چه اندازه در برابر بمب‌های متنی آسیب‌پذیر خواهند بود.

با این حال، این پژوهش نشان می‌دهد در شرایطی که حملات مبتنی بر هوش مصنوعی با سرعت در حال گسترش هستند، می‌توان از همان ضعف ذاتی مدل‌های زبانی به عنوان یک ابزار دفاعی مؤثر برای کاهش موفقیت مهاجمان استفاده کرد.