ناکارآمدی مدل هوش مصنوعی Fable؛ چرا پژوهشگران به آن اعتماد نمی‌کنند؟

 «راب پاترو» پژوهشگر و توسعه‌دهنده نرم‌افزار، در گزارشی با عنوان "Fable is not a useful model" توضیح می‌دهد که سیستم طبقه‌بندی (Classifier) و لایه‌های امنیتی این مدل، حتی درخواست‌های علمی و بی‌خطر را نیز مسدود می‌کنند.

ناکامی Fable در بازنویسی نرم‌افزار متن‌باز

پاترو هنگام بازنویسی نرم‌افزار متن‌باز Salmon، یکی از ابزارهای شناخته‌شده تحلیل داده‌های RNA-seq، از C++ به Rust  تصمیم گرفت از Fable استفاده کند.

با وجود اینکه درخواست صرفاً مربوط به بازنویسی یک پروژه متن‌باز بود، مدل به دلیل وجود اصطلاحات زیست‌شناسی، آن را پرخطر تشخیص داد و از پاسخگویی خودداری کرد.

وی تلاش کرد چندین بار پرامپت را بازنویسی کند اما سیستم Classifier همچنان درخواست را رد کرد. در نهایت، مدل  Opus 4.8  همان درخواست را بدون مشکل پذیرفت و فرآیند بازنویسی را انجام داد.

ناتوانی در حل یک مسئله ریاضی

پاترو سپس یک مسئله انتزاعی در نظریه گراف و ریاضیات گسسته را به Fable ارائه کرد.

او تمام ارجاعات مربوط به زیست‌شناسی و امنیت سایبری را حذف کرد تا احتمال فعال شدن Guardrails کاهش یابد، اما مدل همچنان درخواست را پرچم‌گذاری کرد و از ارائه پاسخ خودداری نمود.

به گفته وی، این رفتار نشان می‌دهد که سیستم طبقه‌بندی مدل در تشخیص بافت واقعی درخواست‌ها دقت کافی ندارد و دچار خطای مثبت کاذب (False Positive) می‌شود.

چرا ناکارآمدی مدل هوش مصنوعی Fable اهمیت دارد؟

براساس تجربه منتشرشده، این محدودیت‌ها می‌تواند پژوهشگران حوزه‌های زیر را با مشکل مواجه کند:

• بیوانفورماتیک
• ژنومیک
• زیست‌شناسی محاسباتی
• امنیت سایبری
• علوم کامپیوتر
• مهندسی نرم‌افزار

به اعتقاد پاترو، رفتار Fable شباهت زیادی به یک فهرست ثابت از کلمات حساس دارد و در بسیاری از موارد، بدون تحلیل دقیق بافت درخواست، پاسخ را مسدود می‌کند. این موضوع پیش‌تر نیز توسط برخی پژوهشگران امنیت سایبری مطرح شده بود.

جمع‌بندی

تجربه راب پاترو نشان می‌دهد ناکارآمدی مدل هوش مصنوعی Fable بیش از آنکه ناشی از ضعف مدل زبانی باشد، به نحوه طراحی لایه‌های ایمنی و سیستم Classifier مربوط است. اگرچه هدف این محدودیت‌ها جلوگیری از سوءاستفاده در حوزه‌هایی مانند زیست‌شناسی و امنیت سایبری است، اما در وضعیت فعلی، برخی فعالیت‌های مشروع علمی و مهندسی نیز تحت تأثیر قرار می‌گیرند. انتظار می‌رود توسعه‌دهندگان Anthropic با بهبود سازوکارهای تشخیص زمینه (Context Awareness)، نرخ خطاهای مثبت کاذب را کاهش دهند.

منابع

• Rob Patro – Fable is not a useful model
• TechCrunch – Cybersecurity researchers aren't happy about the guardrails on Anthropic's Fable

این گزارش با استناد به چندین منبع معتبر بین‌المللی تهیه و توسط تیم تحریریه ۲۴ نیوز به‌صورت اختصاصی تحلیل، راستی‌آزمایی و بازنویسی شده است.

اتاق تحلیل ۲۴ نیوز | دیدگاه تحلیلی بهراد یوسفی

ماجرا صرفاً درباره عملکرد یک مدل هوش مصنوعی نیست؛ بلکه درباره چالشی بنیادین در معماری امنیتی سامانه‌های هوش مصنوعی پیشرفته است. تجربه راب پاترو نشان می‌دهد که اگر لایه‌های ایمنی (Guardrails) بدون درک دقیق از زمینه درخواست طراحی شوند، نتیجه می‌تواند کاهش بهره‌وری کاربران حرفه‌ای باشد؛ حتی زمانی که هیچ فعالیت مخربی در میان نیست.

از منظر معماری امنیت، این موضوع نمونه‌ای از تعارض میان «Secure by Design» و «Usable Security» است. هرچه سیستم محافظه‌کارتر شود، احتمال خطاهای مثبت کاذب افزایش می‌یابد. در محیط‌های پژوهشی، این خطاها فقط به معنای رد شدن یک درخواست نیستند، بلکه می‌توانند موجب تأخیر در توسعه نرم‌افزار، افزایش هزینه تحقیق و حتی مهاجرت پژوهشگران به ابزارهای جایگزین شوند.

برای مدیران امنیت اطلاعات (CISO) و تیم‌های مهندسی، این رخداد یادآور آن است که استقرار مدل‌های هوش مصنوعی نباید صرفاً بر اساس ادعاهای امنیتی انجام شود. ارزیابی عملی نرخ خطا، کیفیت طبقه‌بندی، قابلیت تشخیص زمینه و تأثیر بر فرآیندهای واقعی سازمان باید بخشی از ارزیابی ریسک باشد. در غیر این صورت، سازمان ممکن است ابزاری را به کار گیرد که از منظر امنیتی محافظه‌کار است، اما از منظر عملیاتی ارزش افزوده محدودی ایجاد می‌کند.

از دیدگاه راهبردی، آینده امنیت هوش مصنوعی به سمت سامانه‌های چندلایه‌ای حرکت خواهد کرد که در آن‌ها طبقه‌بندی‌کننده‌ها، تحلیل زمینه، مدیریت هویت، سطح اعتماد کاربر و سیاست‌های دسترسی به‌صورت پویا با یکدیگر تعامل دارند. چنین معماری‌هایی می‌توانند میان کاهش ریسک سوءاستفاده و حفظ کارایی علمی تعادل برقرار کنند؛ تعادلی که برای پژوهش، امنیت سایبری و نوآوری دیجیتال در سال‌های آینده به یکی از مهم‌ترین عوامل تاب‌آوری سازمانی تبدیل خواهد شد.