وقتی AI به توسعه‌دهنده نسل بعدی خود تبدیل می‌شود؛ نگرانی آنتروپیک از شتاب پیشرفت
نگرانی اصلی، صرفاً توانایی تولید کد یا انجام وظایف پیچیده نیست؛ بلکه شکل‌گیری چرخه‌ای است که در آن مدل‌های قوی‌تر، روند ساخت مدل‌های بعدی را سریع‌تر می‌کنند.
آنتروپیک چه هشداری داده است؟
بحث اصلی به مفهومی با عنوان «خودبهبوددهی بازگشتی» یا Recursive Self-Improvement مربوط می‌شود. این اصطلاح به وضعیتی اشاره دارد که در آن یک سامانه هوش مصنوعی بتواند در طراحی و ساخت نسخه‌های بعدی خود مشارکت کند و نسل‌های جدید نیز توانایی بیشتری برای ادامه این فرایند داشته باشند.
آنتروپیک در توضیحات پژوهشی خود درباره این روند تأکید کرده است که هوش مصنوعی هم‌اکنون نیز در بخش‌هایی از فرایند توسعه مدل‌ها، از جمله برنامه‌نویسی، اجرای آزمایش‌ها، آماده‌سازی داده‌ها و ارزیابی عملکرد، نقش دارد. گسترش این نقش می‌تواند سرعت پیشرفت مدل‌ها را افزایش دهد؛ با این حال، رسیدن به خودبهبوددهی کاملاً مستقل، موضوعی جداگانه است و نباید آن را با قابلیت‌های فعلی همه مدل‌ها یکسان دانست.
چرا خودبهبوددهی هوش مصنوعی اهمیت دارد؟
در روند معمول توسعه، پژوهشگران انسانی مراحل طراحی، آموزش، آزمایش و انتشار مدل‌های جدید را هدایت می‌کنند. ابزارهای هوش مصنوعی می‌توانند بخشی از این کارها را سریع‌تر انجام دهند، اما تصمیم‌گیری درباره اهداف، دسترسی‌ها و معیارهای ایمنی همچنان اهمیت اساسی دارد.
اگر مدل‌ها بتوانند بخش‌های بیشتری از توسعه نسل بعدی خود را انجام دهند، ممکن است چرخه پیشرفت کوتاه‌تر شود. در چنین شرایطی، تیم‌های توسعه باید نه‌تنها توانایی‌های مدل فعلی، بلکه اثر آن بر سرعت ساخت و قابلیت‌های مدل‌های آینده را نیز ارزیابی کنند.
آنتروپیک در مطالب خود درباره این روند، بر اهمیت نظارت، ارزیابی ایمنی و ایجاد سازوکارهایی برای کندکردن یا توقف توسعه در صورت افزایش خطر تأکید کرده است.
آیا هوش مصنوعی همین حالا می‌تواند خودش را کاملاً بازسازی کند؟
خیر؛ چنین نتیجه‌ای را نمی‌توان صرفاً از مشارکت مدل‌ها در برنامه‌نویسی یا پژوهش هوش مصنوعی گرفت. کمک به توسعه یک مدل، با توانایی مستقل برای طراحی، آموزش، ارزیابی و استقرار نسل بعدی آن تفاوت دارد.
برای اثبات خودبهبوددهی کاملاً مستقل باید مشخص شود که سامانه تا چه اندازه بدون هدایت مؤثر انسان قادر به انجام زنجیره کامل توسعه است، چه دسترسی‌هایی دارد و آیا می‌تواند عملکرد خود را در نسل‌های بعدی به‌طور پایدار افزایش دهد.
بنابراین، هشدار درباره احتمال نزدیک‌شدن به چنین مرحله‌ای را نباید به این ادعا تبدیل کرد که مدل‌های فعلی آنتروپیک یا دیگر شرکت‌ها اکنون به‌طور کامل و مستقل نسل بعدی خود را می‌سازند.
نگرانی اصلی؛ سرعت پیشرفت بیشتر از ظرفیت نظارت
یکی از چالش‌های مطرح در پژوهش‌های ایمنی هوش مصنوعی این است که ابزارهای ارزیابی و نظارت ممکن است با سرعت رشد توانایی‌های مدل‌ها همگام نشوند. اگر هوش مصنوعی در پژوهش و توسعه نسل‌های بعدی نقش بیشتری پیدا کند، بررسی رفتار و توانایی‌های مدل‌ها پیش از انتشار اهمیت بیشتری خواهد داشت.
این مسئله چند پرسش مهم ایجاد می‌کند: آیا شرکت‌ها می‌توانند تغییرات توانایی مدل‌ها را به‌موقع تشخیص دهند؟ آیا آزمون‌های ایمنی برای قابلیت‌های جدید کافی هستند؟ و در صورت مشاهده خطر، آیا امکان کاهش سرعت توسعه یا محدودکردن دسترسی‌ها وجود دارد؟
آنتروپیک پیش‌تر خواستار بررسی سازوکارهای هماهنگ برای کندکردن یا توقف موقت توسعه مدل‌های پیشرفته در صورت افزایش خطر شده بود. از دید این شرکت، اقدام یک آزمایشگاه به‌تنهایی ممکن است کافی نباشد و هماهنگی میان توسعه‌دهندگان و نهادهای مسئول اهمیت دارد.
پیامدهای امنیت سایبری چیست؟
از منظر امنیت سایبری، افزایش توانایی هوش مصنوعی در برنامه‌نویسی و انجام وظایف پیچیده می‌تواند هم فرصت ایجاد کند و هم ریسک‌ها را افزایش دهد. چنین سامانه‌هایی ممکن است به شناسایی آسیب‌پذیری‌ها، بررسی کد و بهبود دفاع سایبری کمک کنند؛ در مقابل، استفاده نادرست از قابلیت‌های پیشرفته می‌تواند انجام برخی فعالیت‌های مخرب را سریع‌تر یا گسترده‌تر کند.
خودبهبوددهی به‌تنهایی به معنای حمله سایبری یا خروج از کنترل نیست. سطح خطر به عواملی مانند میزان استقلال مدل، دسترسی آن به ابزارها و سامانه‌های بیرونی، محدودیت‌های اعمال‌شده و کیفیت نظارت بستگی دارد.
به همین دلیل، ارزیابی امنیتی مدل‌های پیشرفته باید علاوه بر خروجی‌های متنی، رفتار آن‌ها هنگام استفاده از ابزارها، دسترسی به منابع محاسباتی و توانایی اجرای زنجیره‌ای از وظایف را نیز در نظر بگیرد.
