404 مدیا در گزارشی ادعا کرده که OpenAI برای ارزیابی و بهبود پاسخ‌های ChatGPT از صدها پیمانکار انسانی استفاده می‌کند که بخشی از مکالمات واقعی کاربران را بررسی و پاسخ‌های مدل را ارزیابی می‌کنند. نکته نگران‌کننده این است که برخی از این مکالمات حاوی اطلاعات شخصی و حساس کاربران بوده‌اند؛ اطلاعاتی که قرار است پیش از رسیدن به ارزیاب‌ها با استفاده از ابزارهای حریم خصوصی حذف یا پوشانده شوند، اما همیشه به‌طور کامل شناسایی نمی‌شوند.

پروژه لیلی چیست؟

۴۰۴ مدیا در گزارشی که ۱۴ سپتامبر ۲۰۲۶ منتشر کرد، با استناد به اسناد داخلی، پیام‌های کاری و نمونه مکالمات کاربران، از برنامه‌ای با نام رمز پروژه لیلی (Project Lily) پرده برداشت.

بر اساس این گزارش، صدها پیمانکار در فرایندی که بخشی از آن به ارزیابی پاسخ‌های ChatGPT مربوط می‌شود، مکالمات واقعی کاربران را بررسی می‌کنند. هدف این فرایند، بهبود نحوه پاسخ‌گویی مدل است و ارزیاب‌ها باید میزان کیفیت پاسخ‌های تولیدشده را بررسی کنند.

این بررسی به معنای آن نیست که یک فرد به‌صورت دائمی یا تصادفی تمام چت‌های کاربران را می‌خواند؛ بلکه صحبت از بخشی از داده‌هایی است که می‌تواند برای بهبود مدل مورد استفاده قرار گیرد. خود OpenAI نیز در اسناد رسمی خود اعلام کرده است که محتوای سرویس‌های مصرف‌کننده، از جمله ChatGPT، در صورت فعال بودن تنظیمات مربوطه می‌تواند برای آموزش و بهبود مدل‌ها استفاده شود.

ارزیاب‌های انسانی چه کاری انجام می‌دهند؟

بر اساس یافته‌های ۴۰۴ مدیا، ارزیاب‌ها با مکالمات واقعی کاربران مواجه می‌شوند و باید ابتدا متوجه شوند کاربر چه چیزی می‌خواسته است. سپس پاسخ‌های تولیدشده توسط مدل را ارزیابی و برای آن‌ها امتیاز تعیین می‌کنند.

یکی از اهداف اصلی این ارزیابی‌ها، کاهش رفتارهایی مانند چاپلوسی بیش از حد و «انسان‌نمایی» مدل است؛ یعنی ChatGPT نباید طوری پاسخ دهد که گویی خودش تجربه انسانی، احساس یا زندگی شخصی دارد.

این موضوع در حالی اهمیت بیشتری پیدا می‌کند که بسیاری از کاربران دیگر از چت‌بات‌ها صرفاً برای پرسیدن سؤال‌های ساده استفاده نمی‌کنند. بخشی از کاربران از ChatGPT برای مشورت درباره مسائل شخصی، کاری، مالی، پزشکی یا روابط خود استفاده می‌کنند و در نتیجه ممکن است اطلاعاتی بسیار حساس‌تر از یک جست‌وجوی معمولی را در اختیار یک مدل زبانی قرار دهند. ۴۰۴ مدیا نیز نمونه‌هایی از مکالماتی را مشاهده کرده که در آن کاربران انتظار نداشته‌اند فرد دیگری محتوای گفت‌وگویشان را ببیند.

فیلتر حریم خصوصی همیشه کافی نیست

یکی از مهم‌ترین بخش‌های این ماجرا به سازوکار OpenAI برای حذف اطلاعات شخصی مربوط می‌شود.

OpenAI اعلام کرده پیش از استفاده از داده‌ها برای آموزش مدل، از ابزار «Privacy Filter»  برای شناسایی و پوشاندن اطلاعات قابل شناسایی افراد استفاده می‌کند. این شرکت در توضیحات رسمی خود نیز گفته است که این فیلتر در مراحل مختلف فرایند آموزش، از جمله برای مکالمات کاربرانی که گزینه «Improve the model for everyone» را فعال کرده‌اند، استفاده می‌شود.

با این حال، گزارش ۴۰۴ مدیا نشان می‌دهد این فرایند تضمین نمی‌کند که تمام اطلاعات حساس از مکالمات حذف شوند. بر اساس این گزارش، ارزیاب‌ها در برخی موارد همچنان با اطلاعات شخصی و حساس مواجه شده‌اند.

این مسئله از منظر امنیت اطلاعات اهمیت زیادی دارد؛ زیرا حذف نام کاربری به معنای ناشناس‌شدن کامل یک مکالمه نیست. ترکیبی از جزئیات زندگی، محل سکونت، شغل، روابط، سوابق مکالمات و اطلاعاتی که کاربر در طول زمان در اختیار سرویس قرار داده است، می‌تواند برای شناسایی یا ترسیم تصویری دقیق از یک فرد کافی باشد.

احتمال دسترسی ارزیاب به خلاصه‌ای از حافظه کاربران

یکی از نکات مطرح‌شده در گزارش، نمایش خلاصه‌ای از اطلاعات مربوط به «Memory»  کاربر در محیط بررسی برخی مکالمات است. قابلیت Memory به ChatGPT  اجازه می‌دهد اطلاعاتی را که برای شخصی‌سازی پاسخ‌ها مفید هستند از تعاملات قبلی به خاطر بسپارد.

OpenAI  نیز اعلام کرده است که این قابلیت می‌تواند برای نگهداری اطلاعاتی مانند افراد مهم زندگی کاربر، پروژه‌های در حال انجام یا موضوعاتی که معمولا درباره آن‌ها سوال می‌کند مورد استفاده قرار گیرد.

به عبارت دیگر مسئله فقط یک پیام مجزا نیست. اگر اطلاعات مرتبط با مکالمات قبلی نیز در فرایند ارزیابی قابل مشاهده باشد، تصویری که ارزیاب از کاربر دریافت می‌کند می‌تواند گسترده‌تر از محتوای همان پیام باشد.

با خاموش کردن یک گزینه می‌توان جلوی استفاده از چت‌ها را گرفت؟

OpenAI به کاربران اجازه می‌دهد استفاده از مکالمات جدید برای آموزش مدل را غیرفعال کنند. در نسخه فعلی تنظیمات ChatGPT، کاربر می‌تواند از مسیر Settings وسپس Data Controls  گزینه «Improve the model for everyone» را خاموش کند. براساس اعلام OpenAI پس از خاموش کردن این گزینه، مکالمات جدید در تاریخچه باقی می‌مانند اما برای آموزش ChatGPT استفاده نمی‌شوند.

گزینه دیگری نیز با عنوان Temporary Chat وجود دارد. طبق توضیحات OpenAI، مکالمات موقت در تاریخچه ظاهر نمی‌شوند، حافظه جدید ایجاد نمی‌کنند و برای بهبود مدل‌ها مورد استفاده قرار نمی‌گیرند؛ این مکالمات البته برای اهداف ایمنی تا ۳۰ روز نگهداری می‌شوند.

گفتنی است خاموش کردن گزینه آموزش، درباره مکالمات جدید اعمال می‌شود و نباید آن را به معنای حذف یا بازگرداندن داده‌هایی دانست که پیش‌تر در فرایندهای آموزشی مورد استفاده قرار گرفته‌اند.

همچنین در صورتی که کاربر پس از غیرفعال‌کردن آموزش، خودش درباره یک پاسخ بازخورد ارسال کند، براساس اعلام OpenAI ، مکالمه مرتبط با آن بازخورد می‌تواند برای آموزش مدل استفاده شود.

استفاده از ارزیاب‌های انسانی در اکثر پلتفرم‌های هوش مصنوعی

بازبینی انسانی مکالمات کاربران پدیده‌ای محدود به ChatGPT نیست. گوگل در سیاست حریم خصوصی Gemini به‌صراحت اعلام کرده است که بخشی از داده‌های جمع‌آوری‌شده توسط ارزیابان انسانی، از جمله ارزیابان شرکت‌های ارائه‌دهنده خدمات، بررسی می‌شود. گوگل هشدار می‌دهد کاربران نباید اطلاعات محرمانه‌ای را وارد Gemini کنند که نمی‌خواهند یک ارزیاب انسانی آن را ببیند.

Anthropic، شرکت سازنده Claude، نیز استفاده از بازبینی انسانی در فرایند توسعه و بهبود مدل‌های خود را تأیید کرده است. این شرکت در سیاست‌های خود اعلام کرده که کاربران می‌توانند درباره استفاده از داده‌هایشان برای بهبود مدل تصمیم بگیرند و برای محافظت از حریم خصوصی از ابزارها و فرایندهای حذف یا ناشناس‌سازی اطلاعات حساس استفاده می‌کند.

بنابراین، مسئله «پروژه لیلی» را باید در چارچوب گسترده‌تری دید: مدل‌های زبانی برای بهبود کیفیت پاسخ‌هایشان فقط به داده‌های عمومی اینترنت وابسته نیستند و بخشی از فرایند ارزیابی آن‌ها می‌تواند با بررسی داده‌های واقعی کاربران انجام شود.

چرا حریم خصوصی برای کاربران مهم است؟

مسئله اصلی فقط این نیست که «یک انسان ممکن است چت را ببیند». مسئله مهم‌تر، تغییر ماهیت اطلاعاتی است که کاربران در اختیار چت‌بات قرار می‌دهند.

وقتی کاربر با یک موتور جست‌وجو کار می‌کند، معمولا یک عبارت کوتاه وارد می‌کند؛ اما گفت‌وگو با یک چت‌بات می‌تواند ده‌ها پیام ادامه پیدا کند و در طول آن اطلاعاتی درباره زندگی شخصی، مشکلات خانوادگی، وضعیت مالی، مسائل کاری یا حتی اطلاعات محرمانه یک شرکت مطرح شود.

در چنین شرایطی، کاربر ممکن است تصور کند در حال صحبت با یک سیستم خودکار است، در حالی که بخشی از این داده‌ها می‌تواند وارد فرایندهای ارزیابی انسانی شود.

این موضوع به‌ویژه برای سازمان‌ها اهمیت بیشتری دارد. وارد کردن اطلاعات مشتریان، قراردادهای محرمانه، اطلاعات کارکنان، کدهای دسترسی، داده‌های مالی یا جزئیات پروژه‌های در حال توسعه در ابزارهای هوش مصنوعی مصرف‌کننده می‌تواند ریسک افشای اطلاعات را افزایش دهد.

گفت‌وگو با ChatGPT یک صحبت خصوصی نیست

وجود پروژه لیلی به این معنا نیست که OpenAI بدون هیچ محدودیتی همه گفت‌وگوهای کاربران را در اختیار پیمانکاران قرار می‌دهد. براساس اعلام OpenAI ، این کمپانی برای کاهش اطلاعات شخصی، فیلترهای حریم خصوصی و کنترل‌های مختلفی دارد و به کاربران نیز امکان می‌دهد استفاده از مکالمات جدید برای آموزش مدل را غیرفعال کنند.

با این حال این واقعیت که بخشی از مکالمات واقعی می‌تواند وارد فرایند ارزیابی انسانی شود، نشان می‌دهد کاربران نباید چت‌بات‌های عمومی را مانند یک دفترچه خاطرات، مشاور محرمانه یا سامانه داخلی سازمان در نظر بگیرند.

این نکته را به یاد داشته باشید: اطلاعاتی را که افشای آن‌ها برای شما، شرکت یا فرد دیگری مشکل‌ساز می‌شود، بدون بررسی دقیق تنظیمات حریم خصوصی و سیاست داده سرویس در یک چت‌بات عمومی وارد نکنید.

گزارش ۴۰۴ مدیا درباره پروژه لیلی در نهایت یک سؤال اساسی را مطرح می‌کند: وقتی میلیون‌ها نفر از هوش مصنوعی برای صحبت درباره خصوصی‌ترین بخش‌های زندگی خود استفاده می‌کنند، مرز میان «دستیار هوشمند» و «سرویسی که انسان‌ها نیز ممکن است داده‌های آن را ببینند» چقدر برای کاربر شفاف است؟

 پاسخ به این پرسش، تنها به فناوری ختم نمی‌شود؛ به شفافیت شرکت‌ها، رضایت آگاهانه کاربران و نحوه طراحی کنترل‌های حریم خصوصی نیز وابسته است.