پروژه ملی دستیارهای هوش مصنوعی در چه مرحله‌ای است؟ 

پروژه ملی دستیارهای هوش مصنوعی دستگاه‌های دولتی در ایران از تابستان سال گذشته کلید خورده و به‌تازگی نیز مدل حمایت از آن بازطراحی شده است. این در حالی است که فرایند توسعه این پروژه همچنان ادامه دارد و نهادهای استانداردگذاری و امنیت سایبری جهان بارها درباره استفاده از دستیارهای هوش مصنوعی در سازمان‌های دولتی بدون حاکمیت داده، آموزش کاربران و کنترل‌های امنیتی هشدار داده‌اند.

معاونت علمی و فناوری ریاست‌جمهوری مردادماه سال گذشته از نسخه اولیه دستیارهای هوش مصنوعی ۱۳ دستگاه اجرایی رونمایی کرد. این دستیارهای هوش مصنوعی با همکاری دانشگاه‌های کشور، بر اساس LLMهای بومی و با پشتیبانی از زبان فارسی توسعه داده شده‌اند. این پروژه در چهار فاز شامل بارگذاری قوانین و مقررات دستگاه‌های اجرایی، بارگذاری قوانین کاربردی، مدل‌سازی پیش‌بینی‌ها و کاربردی‌شدن دستیار هوش مصنوعی برای تصمیم‌سازی‌ها اجرا می‌شود و در سال جاری فرایند توسعه آن آغاز خواهد شد.

همچنین، بر اساس اعلام معاون علمی رئیس‌جمهور، دستیارهای هوش مصنوعی در دستگاه‌ها با هدف پاسخ‌گویی به پرسش‌های مدیران و کارشناسان، تحلیل قوانین و مقررات، جلوگیری از وابستگی اطلاعات به افراد، کمک به تصمیم‌گیری دقیق‌تر مدیران و ایجاد یک دستیار مشورتی برای وزیران و مدیران راه‌اندازی شده‌اند. به گفته او، در برخی دستگاه‌ها دانش و اطلاعات در اختیار تعداد محدودی از افراد است و هدف از پروژه دستیار هوش مصنوعی، تبدیل این دانش به سامانه‌ای قابل استفاده برای کل سازمان است.

بررسی آخرین وضعیت فعالیت دستیارهای هوش مصنوعی در دستگاه‌ها نشان می‌دهد که این دستیارها فعلاً در مرحله طراحی هستند و هنوز به مرحله بهره‌برداری نرسیده‌اند. به گفته معاون علمی رئیس‌جمهور، قطع اینترنت و شرایط جنگی کشور در یک سال اخیر باعث شده است اجرای مراحل مختلف این پروژه با تأخیر مواجه شود.

بااین‌حال، معاون علمی رئیس‌جمهور به‌تازگی از تغییر مدل حمایت از این پروژه خبر داده است. به گفته او، با هدف سنجش میزان نیاز واقعی دستگاه‌ها، در سال جاری ۷۰ درصد هزینه‌ها توسط معاونت علمی و ۳۰ درصد توسط وزارتخانه‌های متقاضی تأمین خواهد شد. این مدل در سال آینده تغییر می‌کند و ۷۰ درصد هزینه پروژه را وزارتخانه و ۳۰ درصد را معاونت علمی پرداخت خواهد کرد.

علاوه بر تغییر روند حمایت‌های مالی، قراردادها میان معاونت علمی، وزارتخانه و دانشگاه یا مجری پروژه نیز طبق شروطی همچون انجام تعهدات قبلی دانشگاه، تأیید ادامه پروژه و پرداخت سهم مالی توسط وزارتخانه مربوطه تمدید می‌شود.

دولت‌ها چگونه هوش مصنوعی را وارد دستگاه‌های اجرایی کردند؟

در حالی فرایند توسعه دستیارهای هوش مصنوعی ادامه دارد که تاکنون مسئولان توضیحی درباره روند نظارتی و حاکمیتی این دستیارها ارائه نداده‌اند. این در حالی است که کشورهای مختلف برای استفاده از دستیارهای هوش مصنوعی در دستگاه‌های دولتی، چارچوب‌ها و ضوابط مشخصی در نظر گرفته‌اند.

بریتانیا یکی از پیشروترین کشورها در استفاده از دستیارهای هوش مصنوعی در دولت است، اما پیش از توسعه گسترده این فناوری، مجموعه‌ای از دستورالعمل‌ها را منتشر کرده است. در این دستورالعمل‌ها، داده‌های مجاز برای ورود به سامانه‌های هوش مصنوعی، آموزش کارکنان، مدیریت ریسک‌های امنیتی و ارزیابی مستمر مدل‌ها مشخص شده است.

همچنین، ۸۳ درصد کشورهای عضو سازمان همکاری و توسعه اقتصادی یک نهاد مشخص برای حکمرانی هوش مصنوعی در دولت دارند. بسیاری از کشورها نیز استراتژی ملی استفاده از هوش مصنوعی در دولت را تدوین کرده‌اند. بااین‌حال، نهادهای استانداردگذاری و امنیت سایبری جهان بارها درباره استفاده از دستیارهای هوش مصنوعی در سازمان‌های دولتی بدون حاکمیت داده، آموزش کاربران و کنترل‌های امنیتی هشدار داده‌اند.

چرا نهادهای امنیت سایبری درباره دستیارهای هوش مصنوعی هشدار می‌دهند؟

نگرانی کارشناسان از توسعه استفاده از دستیارهای هوش مصنوعی در دولت‌ها بدون چارچوب نظارتی، به دلیل احتمال نشت اطلاعات محرمانه، حملات Prompt Injection، مسموم‌سازی داده‌ها، تصمیم‌گیری بر پایه اطلاعات نادرست، دسترسی بیش از حد، آموزش ناکافی کارکنان و نبود کنترل دسترسی مناسب است.

مرکز ملی امنیت سایبری بریتانیا و مؤسسه ملی استانداردها و فناوری آمریکا هشدار می‌دهند که اگر کارکنان اسناد داخلی، مکاتبات، اطلاعات شهروندان یا داده‌های طبقه‌بندی‌شده را در اختیار یک دستیار هوش مصنوعی قرار دهند، خطر افشای اطلاعات حساس وجود دارد. این موضوع به‌ویژه زمانی جدی‌تر می‌شود که مدل به سامانه‌های داخلی یا پایگاه‌های داده سازمان متصل باشد.

همچنین، حملات Prompt Injection تهدیدی جدی برای سامانه‌های مبتنی بر LLM هستند. اگر کارکنان سازمان‌ها ایمیل، صفحه وب، PDF یا حتی یک سند اداری آلوده‌شده توسط مهاجم را به دستیار هوش مصنوعی ارائه دهند، ممکن است این دستیار دستورالعمل‌های امنیتی را نادیده بگیرد، اطلاعات محرمانه را افشا کند یا اقداماتی خارج از انتظار انجام دهد.

علاوه بر این، مرکز ملی امنیت سایبری بریتانیا مسموم‌سازی داده‌ها (Data Poisoning) را یکی از تهدیدهای اصلی سامانه‌های هوش مصنوعی اعلام کرده است. اگر مدل با داده‌های داخلی آموزش ببیند یا به‌طور مداوم از بازخورد کاربران یاد بگیرد، مهاجم می‌تواند داده‌های نادرست یا دستکاری‌شده را وارد چرخه آموزش کند. در نتیجه، مدل ممکن است پاسخ‌های اشتباه، سوگیرانه یا حتی ناامن تولید کند.

همین مرکز درباره تصمیم‌گیری بر پایه اطلاعات نادرست مدل‌های زبانی نیز هشدار داده و اعلام کرده است که مدل‌های زبانی ممکن است اطلاعات نادرست را با اطمینان کامل ارائه دهند. اگر کارمند یک دستگاه اجرایی بدون راستی‌آزمایی از پاسخ دستیار استفاده کند، احتمال بروز خطا در تصمیم‌های اداری وجود دارد.

مرکز ملی امنیت سایبری بریتانیا همچنین تأکید می‌کند که امنیت سامانه‌های هوش مصنوعی فقط به فناوری وابسته نیست. مدیران، توسعه‌دهندگان و کاربران باید آموزش ببینند که چه داده‌هایی را وارد مدل نکنند، چگونه خروجی را راستی‌آزمایی کنند و چگونه حملات مبتنی بر هوش مصنوعی را تشخیص دهند.

دسترسی بیش از حد و نبود کنترل دسترسی مناسب نیز از جمله نگرانی‌های مؤسسه ملی استانداردها و فناوری آمریکا درباره استفاده از مدل‌ها یا دستیارهای هوش مصنوعی است. بررسی‌های این مؤسسه نشان می‌دهد که اگر مدل اجازه داشته باشد به سامانه‌های مختلف متصل شود و اقداماتی انجام دهد، مانند ارسال نامه، جست‌وجو در پایگاه داده یا اجرای دستور، در صورت سوءاستفاده یا خطا، دامنه آسیب بسیار بزرگ‌تر خواهد بود.

همچنین، از نظر مؤسسه ملی استانداردها و فناوری آمریکا، استقرار محلی (Local Deployment) در صورت نیاز، کنترل دسترسی مبتنی بر نقش (Role-Based Access Control)، فیلترهای اعتبارسنجی ورودی و خروجی و جلوگیری از دسترسی کاربران غیرمجاز به اطلاعات حساس، از جمله کنترل‌های امنیتی مهم هستند.

در مجموع، تجربه کشورهای دیگر نشان می‌دهد موفقیت چنین پروژه‌هایی تنها به توان فنی یا بومی‌بودن مدل‌های زبانی وابسته نیست. آنچه این سامانه‌ها را قابل اعتماد می‌کند، وجود چارچوب‌های حکمرانی، ضوابط امنیتی، آموزش مستمر کاربران و نظارت مستقل بر عملکرد آن‌هاست.