شرکت آنتروپیک در پژوهشی، به یکی از چالش‌های مهم توسعه ایجنت‌های هوش مصنوعی پرداخته است: چگونه می‌توان مطمئن شد یک ایجنت، علاوه بر انجام موفقیت‌آمیز وظیفه، عملکرد قابل اعتماد و درستی هم دارد؟ این مقاله با معرفی روش‌های ارزیابی ایجنت‌های هوش مصنوعی، از آزمون‌های خودکار و داوری مدل‌های زبانی تا بررسی انسانی، چارچوبی کاربردی برای شناسایی خطاها و بهبود عملکرد این سیستم‌ها ارائه می‌دهد.

با گسترش استفاده از ایجنت‌های هوش مصنوعی در برنامه‌نویسی، پژوهش، پشتیبانی مشتریان و انجام وظایف رایانه‌ای، سنجش عملکرد این سیستم‌ها پیچیده‌تر از گذشته شده است. یک مدل زبانی معمولی ممکن است با دریافت یک پرسش، پاسخی تولید کند که بتوان آن را به‌سرعت بررسی کرد؛ اما یک ایجنت برای انجام وظایف پیچیده‌تر، چندین مرحله را پشت سر می‌گذارد، از ابزارهای مختلف کمک می‌گیرد، اطلاعات را تغییر می‌دهد و براساس نتایج میانی تصمیم‌های تازه‌ای می‌گیرد.

همین ویژگی‌ها ارزیابی ایجنت‌های هوش مصنوعی را دشوار می‌کند. یک اشتباه کوچک در ابتدای فرایند ممکن است به خطاهای بزرگ‌تری در مراحل بعدی منجر شود. از سوی دیگر، ممکن است ایجنت به نتیجه مطلوب برسد، اما در مسیر انجام کار از روشی نامناسب استفاده کند یا با اتکا به یک راه میان‌بر، معیارهای آزمون را دور بزند.

آنتروپیک در مقاله «Demystifying evals for AI agents» توضیح می‌دهد چرا توسعه‌دهندگان باید ارزیابی را بخشی از فرایند ساخت و بهبود ایجنت‌ها بدانند. به‌گفته این شرکت، آزمون‌های دقیق کمک می‌کنند مشکلات پیش از رسیدن به کاربران شناسایی شوند و تغییرات مدل یا ابزارهای آن، کیفیت عملکرد را به‌صورت ناخواسته کاهش ندهند.

ارزیابی ایجنت هوش مصنوعی چیست؟

ارزیابی یا Eval روشی برای سنجش عملکرد یک سیستم هوش مصنوعی است. در این روش، مجموعه‌ای از وظایف مشخص در اختیار سیستم قرار می‌گیرد و نتیجه کار آن براساس معیارهای از پیش تعیین‌شده بررسی می‌شود. در ارزیابی ایجنت‌ها، بررسی پاسخ نهایی به‌تنهایی کافی نیست. توسعه‌دهندگان باید اطلاعات بیشتری را هم در نظر بگیرند؛ از جمله اینکه ایجنت چه ابزارهایی را فراخوانی کرده، چه تغییراتی در محیط ایجاد کرده، چند مرحله برای انجام کار پشت سر گذاشته و در نهایت به چه نتیجه‌ای رسیده است.

برای مثال، اگر یک ایجنت وظیفه رزرو بلیت هواپیما را بر عهده داشته باشد، اعلام موفقیت‌آمیز بودن رزرو در پاسخ نهایی به معنای انجام واقعی آن نیست. معیار اصلی باید این باشد که آیا رزرو در سامانه ثبت شده است یا خیر. در مقاله آنتروپیک چند مفهوم کلیدی برای طراحی این آزمون‌ها معرفی می‌شود:

وظیفه یا  Task مسئله‌ای مشخص با ورودی و معیارهای موفقیت تعریف‌شده.

تلاش آزمایشی یا  Trial هر بار اجرای یک وظیفه برای سنجش عملکرد ایجنت.

ارزیاب یا Grader  سازوکاری که بخشی از عملکرد یا نتیجه کار را امتیازدهی می‌کند.

ردیابی عملکرد یا  Transcript سابقه کامل اجرای وظیفه، شامل پاسخ‌ها، فراخوانی ابزارها و نتایج میانی.

نتیجه نهایی یا Outcome  وضعیت واقعی محیط پس از پایان اجرای وظیفه.

اجرای چندباره یک آزمون نیز اهمیت دارد؛ زیرا خروجی مدل‌های هوش مصنوعی ممکن است در اجراهای مختلف تغییر کند. تکرار آزمون به توسعه‌دهندگان کمک می‌کند عملکرد سیستم را با اطمینان بیشتری بسنجند.

سه روش اصلی برای ارزیابی ایجنت‌های هوش مصنوعی

آنتروپیک سه گروه اصلی از روش‌های ارزیابی را معرفی می‌کند: ارزیابی مبتنی بر کد، ارزیابی با کمک مدل‌های زبانی و ارزیابی انسانی. هر روش توانایی‌ها و محدودیت‌های خاص خود را دارد و انتخاب آن به نوع وظیفه بستگی دارد.

ارزیابی مبتنی بر کد؛ سریع و قابل تکرار

در این روش، عملکرد ایجنت با استفاده از آزمون‌های برنامه‌نویسی و معیارهای مشخص بررسی می‌شود. برای نمونه، می‌توان کنترل کرد که آیا کد تولیدشده از آزمون‌های نرم‌افزاری عبور می‌کند، فایل موردنظر به‌درستی تغییر کرده یا یک عملیات در محیط ثبت شده است.

بررسی خروجی با الگوهای متنی، اجرای تست‌های خودکار، تحلیل ایستا و کنترل فراخوانی ابزارها از روش‌های رایج این گروه هستند. مزیت اصلی ارزیابی مبتنی بر کد، سرعت بالا، هزینه کمتر و امکان تکرار دقیق آزمون‌هاست.

 با این حال، این روش ممکن است در تشخیص کیفیت پاسخ‌های پیچیده یا راه‌حل‌های متفاوت اما معتبر با مشکل روبه‌رو شود. برای مثال، اگر آزمون فقط یک قالب مشخص برای پاسخ را بپذیرد، ممکن است راه‌حلی درست را به‌دلیل تفاوت جزئی در قالب‌بندی رد کند.

ارزیابی با مدل‌های زبانی؛ سنجش کیفیت و ظرافت پاسخ

در برخی وظایف، تشخیص درست یا نادرست بودن خروجی با چند دستور ساده امکان‌پذیر نیست. کیفیت یک گزارش پژوهشی، میزان پایبندی به دستورالعمل‌ها یا مناسب بودن لحن یک پاسخ، نمونه‌هایی از این وضعیت هستند. در چنین شرایطی می‌توان از یک مدل زبانی دیگر به‌عنوان ارزیاب استفاده کرد. این مدل، خروجی ایجنت را براساس معیارهای مشخص بررسی می‌کند و به ابعاد مختلف عملکرد آن امتیاز می‌دهد.

این روش انعطاف‌پذیری بیشتری دارد و برای ارزیابی پاسخ‌های باز و چندوجهی مناسب است؛ با این حال، خود مدل ارزیاب هم ممکن است اشتباه کند یا در اجراهای مختلف قضاوت یکسانی نداشته باشد. آنتروپیک توصیه می‌کند معیارهای ارزیابی شفاف باشند و نتیجه داوری مدل‌های زبانی به‌طور دوره‌ای با نظر کارشناسان انسانی مقایسه شود. تفکیک ابعاد ارزیابی نیز می‌تواند به افزایش دقت کمک کند؛ برای مثال، صحت اطلاعات، کامل بودن پاسخ و کیفیت نگارش بهتر است جداگانه بررسی شوند.

ارزیابی انسانی؛ بررسی موارد پیچیده و مبهم

برخی از وظایف هوش مصنوعی به قضاوت تخصصی یا انسانی نیاز دارند. در این موارد، کارشناسان می‌توانند کیفیت پاسخ‌ها را بررسی کنند، موارد مبهم را تشخیص دهند و مشخص کنند آیا ارزیاب‌های خودکار عملکرد سیستم را به‌درستی سنجیده‌اند یا خیر.

البته ارزیابی انسانی زمان‌بر و پرهزینه است و ممکن است نظر ارزیابان مختلف با یکدیگر تفاوت داشته باشد. به همین دلیل، مقاله پیشنهاد می‌کند بررسی انسانی در کنار آزمون‌های خودکار و داوری مدل‌های زبانی به کار گرفته شود. ترکیب این سه روش، امکان بررسی دقیق‌تر عملکرد ایجنت‌ها را فراهم می‌کند و احتمال نادیده ماندن خطاها را کاهش می‌دهد.

آیا باید مسیر اجرای وظیفه را هم ارزیابی کرد؟

یکی از نکات مهم مقاله آنتروپیک، تفاوت میان بررسی نتیجه و بررسی مسیر رسیدن به آن است. در نگاه نخست ممکن است ثبت موفقیت نهایی برای تأیید عملکرد یک ایجنت کافی به نظر برسد؛ اما در عمل، ارزیابی بیش از حد سخت‌گیرانه مسیر اجرا نیز می‌تواند مشکل‌ساز شود.

ایجنت‌ها ممکن است برای حل یک مسئله، روش‌هایی متفاوت از آنچه توسعه‌دهندگان پیش‌بینی کرده‌اند پیدا کنند. اگر آزمون فقط یک توالی خاص از فراخوانی ابزارها را بپذیرد، راه‌حل‌های معتبر دیگر نیز ممکن است مردود شوند. برای نمونه، اگر یک ایجنت بتواند با دو روش متفاوت یک مشکل نرم‌افزاری را برطرف کند، آزمونی که فقط روش اول را قبول می‌کند، تصویر دقیقی از توانایی واقعی سیستم ارائه نمی‌دهد.

به همین دلیل، آنتروپیک توصیه می‌کند توسعه‌دهندگان در بسیاری از موارد، نتیجه واقعی کار را معیار اصلی قرار دهند و بررسی مسیر اجرا را به مواردی محدود کنند که رفتار مشخصی اهمیت دارد؛ مانند رعایت الزامات امنیتی، استفاده صحیح از ابزارها یا پرهیز از اقدامات غیرمجاز.

این رویکرد میان دو هدف تعادل برقرار می‌کند: پذیرش راه‌حل‌های خلاقانه و معتبر، و جلوگیری از رفتارهای خطرناک یا مغایر با دستورالعمل‌ها.

چگونه یک چارچوب ارزیابی قابل اعتماد بسازیم؟

آنتروپیک در مقاله خود یک مسیر هفت‌مرحله‌ای برای طراحی و نگهداری آزمون‌های ایجنت‌های هوش مصنوعی پیشنهاد می‌کند.

 ارزیابی را از ابتدای توسعه آغاز کنید. برای شروع، به مجموعه بزرگی از آزمون‌ها نیاز نیست. آنتروپیک پیشنهاد می‌کند کار با حدود ۲۰ تا ۵۰ وظیفه ساده، به‌ویژه نمونه‌هایی که در آزمایش‌های قبلی با شکست روبه‌رو شده‌اند، آغاز شود.

آزمون‌های دستی را به تست‌های مشخص تبدیل کنید.  مواردی که توسعه‌دهندگان پیش از انتشار بررسی می‌کنند، گزارش‌های خطا و شکایت‌های کاربران می‌توانند نقطه شروع مناسبی باشند. این کار باعث می‌شود آزمون‌ها به مشکلات واقعی نزدیک بمانند.

وظایف روشن و قابل سنجش تعریف کنید. هر آزمون باید معیار موفقیت مشخصی داشته باشد. اگر صورت مسئله مبهم باشد، ممکن است یک ایجنت به‌دلیل برداشت متفاوت از دستور، امتیاز پایینی بگیرد؛ حتی اگر عملکرد آن قابل قبول باشد. تعریف یک راه‌حل مرجع نیز به بررسی صحت آزمون کمک می‌کند.

مجموعه آزمون متوازن بسازید. ارزیابی باید هم مواردی را پوشش دهد که انجام یک رفتار ضروری است و هم موقعیت‌هایی را که همان رفتار نباید رخ دهد. برای مثال، اگر قرار است توانایی جست‌وجوی وب سنجیده شود، باید هم پرسش‌های نیازمند جست‌وجو و هم پرسش‌هایی که پاسخ آن‌ها از دانش موجود به دست می‌آید، در آزمون حضور داشته باشند.

محیط آزمون را پایدار نگه دارید. هر اجرا بهتر است در محیطی مستقل و پاک آغاز شود تا فایل‌های باقی‌مانده، داده‌های ذخیره‌شده یا محدودیت‌های زیرساختی بر نتیجه تأثیر نگذارند. در غیر این صورت، ممکن است خطای محیط به اشتباه به حساب ضعف ایجنت گذاشته شود.

معیارهای ارزیابی را به‌دقت طراحی کنید. در صورت امکان، از معیارهای قطعی و قابل تکرار استفاده کنید و برای سنجش کیفیت‌های پیچیده‌تر به مدل‌های زبانی یا ارزیابان انسانی کمک بگیرید. همچنین باید بررسی شود که آزمون‌ها به‌سادگی با میان‌برها و ترفندهای ناخواسته قابل دور زدن نباشند.

نتایج و سوابق اجرا را به‌طور مستمر بررسی کنید. امتیاز نهایی به‌تنهایی علت شکست را مشخص نمی‌کند. بررسی ردیابی عملکرد به توسعه‌دهندگان نشان می‌دهد که ایجنت واقعاً اشتباه کرده است یا معیارهای آزمون، یک راه‌حل معتبر را نپذیرفته‌اند.

چرا امتیاز پایین همیشه به معنای ضعف هوش مصنوعی نیست؟

یکی از نکات قابل توجه مقاله، تأکید بر این موضوع است که گاهی مشکل از خود آزمون است، نه از مدل یا ایجنت. آنتروپیک به نمونه‌ای از ارزیابی CORE-Bench اشاره می‌کند که در آن مدل Opus 4.5 ابتدا امتیاز ۴۲ درصد را کسب کرده بود. پس از بررسی، پژوهشگران چند ایراد در آزمون‌ها شناسایی کردند؛ از جمله سخت‌گیری بیش از حد در مقایسه اعداد، ابهام در صورت برخی وظایف و وجود آزمون‌هایی که تکرارپذیری مناسبی نداشتند.

با اصلاح این مشکلات و کاهش محدودیت‌های غیرضروری در چارچوب اجرا، امتیاز مدل به ۹۵ درصد رسید. این نمونه نشان می‌دهد که طراحی نادرست آزمون می‌تواند توانایی واقعی یک ایجنت را کمتر از میزان واقعی نشان دهد. از همین رو، بررسی کیفیت معیارهای ارزیابی به‌اندازه بررسی عملکرد مدل اهمیت دارد.

تفاوت آزمون توانایی با آزمون جلوگیری از افت عملکرد

مقاله آنتروپیک دو نوع ارزیابی را از یکدیگر تفکیک می‌کند.

آزمون توانایی  (Capability Eval)  برای سنجش قابلیت‌هایی طراحی می‌شود که ایجنت هنوز در انجام آن‌ها ضعف دارد. در آغاز، نرخ موفقیت پایین در این آزمون‌ها می‌تواند نشان دهد که فضای مناسبی برای بهبود وجود دارد.

در مقابل، آزمون جلوگیری از افت عملکرد (Regression Eval) بررسی می‌کند که آیا ایجنت پس از تغییر مدل، دستورالعمل‌ها یا ابزارها، همچنان وظایفی را که پیش‌تر به‌درستی انجام می‌داد، با همان کیفیت انجام می‌دهد یا خیر.

برای مثال، بهبود توانایی یک ایجنت در تحلیل کد نباید باعث شود عملکرد آن در اجرای آزمون‌های امنیتی یا ویرایش فایل‌ها افت کند. استفاده هم‌زمان از این دو نوع ارزیابی به تیم‌ها کمک می‌کند پیشرفت سیستم را بسنجند و از ایجاد مشکلات تازه جلوگیری کنند. البته اگر ایجنت در تمام آزمون‌های توانایی به موفقیت کامل برسد، آن مجموعه دیگر اطلاعات چندانی درباره ظرفیت بهبود آن ارائه نمی‌دهد. در این شرایط باید آزمون‌های دشوارتر و متناسب با قابلیت‌های جدید طراحی شوند.

ارزیابی ایجنت‌ها پس از انتشار هم ادامه دارد

براساس آنتروپیک، ارزیابی نباید با عرضه محصول به پایان برسد. آزمون‌های خودکار در فرایند توسعه و پیش از انتشار، مشکلات شناخته‌شده را شناسایی می‌کنند؛ اما رفتار کاربران واقعی ممکن است موقعیت‌هایی ایجاد کند که در آزمون‌های اولیه پیش‌بینی نشده‌اند.

به همین دلیل، پایش عملکرد در محیط واقعی، دریافت بازخورد کاربران، بررسی نمونه‌ای از مکالمات و اجرای آزمون‌های مقایسه‌ای پس از تغییرات مهم، همچنان ضروری است.

ترکیب این روش‌ها تصویری جامع‌تر از عملکرد ایجنت ارائه می‌دهد. آزمون خودکار سرعت و تکرارپذیری را فراهم می‌کند، پایش واقعی مشکلات پیش‌بینی‌نشده را آشکار می‌سازد و ارزیابی انسانی به بررسی موارد پیچیده و تنظیم معیارهای داوری کمک می‌کند.

اعتماد به ایجنت‌های هوش مصنوعی به ارزیابی مستمر نیاز دارد

مقاله آنتروپیک نشان می‌دهد که توسعه ایجنت‌های هوش مصنوعی فقط به ساخت مدل‌های قدرتمندتر وابسته نیست. برای اطمینان از عملکرد این سیستم‌ها، باید معیارهای موفقیت از ابتدا روشن باشند، آزمون‌ها به‌درستی طراحی شوند و نتایج در طول چرخه توسعه و پس از انتشار به‌طور مداوم بررسی شوند.

نکته کلیدی این است که ارزیابی خوب باید هم نتیجه واقعی کار را بسنجد و هم در موقعیت‌هایی که اهمیت دارد، رفتار ایجنت را بررسی کند؛ بدون آنکه راه‌حل‌های معتبر و خلاقانه را به‌دلیل تفاوت با انتظار طراحان رد کند. هیچ روش ارزیابی به‌تنهایی نمی‌تواند همه خطاها را شناسایی کند. ترکیب آزمون‌های مبتنی بر کد، داوری مدل‌های زبانی، بررسی انسانی و پایش عملکرد در دنیای واقعی، راهی عملی برای افزایش قابلیت اعتماد ایجنت‌های هوش مصنوعی است.