ابزارها
ALTK-Evolve: ابزار متنباز برای سنجش پایایی ایجنتهای LLM
ایجنت GPT-4.1 در ۷۷ درصد اجراها موفق بود، اما فقط در ۵۳ درصد تسکها هر پنج بار جواب درست داد؛ ابزار جدید این شکاف را نصف میکند.
ایجنت GPT-4.1 در ۷۷ درصد اجراها موفق بود، اما فقط در ۵۳ درصد تسکها هر پنج بار جواب درست داد؛ ابزار جدید این شکاف را نصف میکند.
هیگینگ فیس و IBM ریسرچ Consistency Analyzer و consistency guidelines را در ALTK-Evolve منتشر کردند؛ شکاف پایایی ایجنتهای LLM از ۲۴.۴ به ۱۲ واحد درصد رسید.
ایجنت شما در تمرین تسک را درست انجام داد، اما در دموی زنده همان درخواست را مسیر دیگری رفت و شکست خورد. هیگینگ فیس و IBM ریسرچ دقیقاً برای همین مشکل ابزاری ساختهاند: Consistency Analyzer و نوع جدیدی از دستورالعملها به نام consistency guidelines در کیت متنباز ALTK-Evolve، که شکاف میان «میانگین موفقیت» و «پایایی واقعی» ایجنتهای LLM را نصف میکند — بدون اینکه حتی یک واحد درصد از دقت میانگین کم شود.
اکثر بنچمارکها فقط Mean@k را گزارش میکنند: تسک را k بار اجرا کن و میانگین نمره را اعلام کن. این همان عددی است که روی لیدربوردها میبینید. اما کاربر واقعی سوال دیگری دارد: اگر همین درخواست را دوباره بفرستم، باز هم جواب درست میگیرم؟
برای آن سوال معیار Pass^k تعریف میشود — سهم تسکهایی که ایجنت در همه k اجرا موفق شده. نکته ظریف اینجاست که Pass^k با Pass@k آشناشده فرق دارد:
Pass^k is not Pass@k. The familiar Pass@k is optimistic — it asks whether at least one of k attempts succeeded... Pass^k is its pessimistic mirror image: every attempt must succeed.
عددهای ملموس؟ ایجنت ReAct با GPT-4.1 روی بنچمارک AppWorld میانگین Mean@5 برابر ۷۷.۴ درصد داشت — عددی که واقعاً خوب به نظر میرسد. اما Pass^5 فقط ۵۳.۰ درصد بود. یعنی تقریباً یکچهارم بنچمارک تسکهایی است که ایجنت گاهی حل میکند و گاهی نه، بدون اینکه چیزی در تسک تغییر کرده باشد. این فاصله ۲۴.۴ واحد درصدی را «شکاف پایایی» مینامند.
هر تصمیم ایجنت — کدام API را صدا بزند، چه آرگومانی بدهد — از یک توزیع احتمال روی توکن بعدی بیرون میآید. اگر توزیع «تیز» باشد و اکثر جرم روی یک توکن باشد، همان انتخاب بارها تکرار میشود. اما اگر توزیع «تخت» باشد و چند توکن تقریباً مساوی باشند، برنده شدن هر کدام شبیه شیر یا خط است.
جالبتر اینکه این مشکل با تنظیمات decoding حل نمیشود. ایجنت مورد آزمایش با دمای ۰.۰ اجرا شده بود — یعنی هیچ sampling معمولی در کار نبود. روی endpointهای میزبانیشده، احتمالها از اجرایی به اجرای دیگر کمی جابهجا میشوند و همین جابهجایی کوچک برای یک نزدیکمسابقه کافی است تا نتیجه عوض شود. وقتی یک مسیر از دهها تصمیم زنجیرهشده ساخته میشود، احتمال کمِ flip در هر گام به احتمال بزرگی برای انحراف کل مسیر تبدیل میشود.
Consistency Analyzer یک ردیابی (trace) ضبطشده میگیرد و هر نقطه تصمیم آن را دوبارهنمونهگیری میکند — یک فراخوان مدل با k=5 تکمیل موازی برای هر گام، بهجای اجرای دوباره کل تسک. تشخیص کاملاً بلکباکس است: نه logits لازم است، نه دسترسی به درون مدل، نه جواب درست مرجع. همین ویژگی آن را برای ترافیک production کاربردی میکند، جایی که معمولاً نمیتوان تسک را حتی یک بار end-to-end تکرار کرد.
هر گام پرریسک به یک دستورالعمل تبدیل میشود که در پایپلاین موجود ALTK-Evolve ذخیره و بازیابی میشود. مثال واقعی: «هنگام شمارش نشانگرهای چکباکس در متن یادداشت، از regex لنگرشده به خط استفاده کن نه شمارش ساده زیررشته — چون عنوان یادداشتها همان نماد را در خط legend تکرار میکنند.» اینها جزییات یک تسک خاص نیستند؛ الگوهای ناپایداریاند که در تسکهای زیادی تکرار میشوند.
روی ۱۶۸ تسک AppWorld test_normal، شکاف پایایی از ۲۴.۴ به ۱۲.۰ واحد درصد رسید: Pass^5 از ۵۳.۰ به ۶۹.۰ درصد و Mean@5 از ۷۷.۴ به ۸۱.۰ درصد. تقریباً یکسوم تسکهای ناپایدار به تسکهایی تبدیل شدند که ایجنت در هر پنج اجرا حلشان میکند. سطوح سختتر بیشترین سود را بردند — Medium با +۲۲.۹ و Hard با +۱۴.۳ واحد درصد — و مهمتر اینکه Mean@5 در هیچ سطحی افت نکرد.
دستورالعملها هم فقط یک مسیر خاص را وصله نمیکنند. روی تسک مشابه در همان سناریو، Pass^5 با +۱۳.۰ واحد درصد بهبود یافت — فقط سه واحد کمتر از همان تسک. روی مدل ضعیفتر gpt-oss-120b هم جالب شد: بهبود تسک مشابه (+۸.۷) از بهبود همان تسک (+۶.۰) بیشتر بود؛ نشانهای که این دستورالعملها الگوهای شکست واقعاً قابلانتقال را میگیرند، نه جزییات یک مسیر را حفظ میکنند.
پیام تیم برای توسعهدهندگان سه بخش دارد: معیار Pass^k را کنار Mean@k گزارش کنید، چون میانگین نمیتواند ایجنت قابلاتکا را از ایجنت خوششانس تشخیص دهد. انتظار داشته باشید شکاف در سطوح سختتر بزرگتر باشد. و قبل از هر چیز سراغ مدل بزرگتر نروید:
This isn't a capability problem you fix with a bigger model. It's an orthogonal axis: an agent can be capable and inconsistent at the same time.
مدل قویتر Mean@k را بالا میبرد، اما لزوماً شکاف پایایی را کم نمیکند. برای کاربردهای حساس مثل تطبیق تراکنش مالی یا بررسی تعهدات در قرارداد، همین تفاوت میان «توانمند» و «قابلاتکا» تعیین میکند محصول قابل عرضه است یا نه.
کد Consistency Analyzer و تولید دستورالعملهای consistency در مخزن متنباز ALTK-Evolve روی گیتهاب منتشر شده و گزارش فنی کامل هم روی arXiv در دسترس است.
**آیا Consistency Analyzer به دسترسی به logits یا جواب درست نیاز دارد؟ ** نه. تشخیص کاملاً بلکباکس است و فقط با یک trace ضبطشده کار میکند؛ هر نقطه تصمیم با یک فراخوان مدل و k=5 نمونه دوبارهنمونهگیری میشود.
**آیا این دستورالعملها فقط برای همان تسک خاص کار میکنند؟ ** خیر. روی تسک مشابه در همان سناریو Pass^5 با +۱۳.۰ واحد درصد بهبود یافت و روی مدل ضعیفتر gpt-oss-120b بهبود تسک مشابه (+۸.۷) حتی از همان تسک (+۶.۰) بیشتر بود.
**آیا مدل بزرگتر مشکل ناپایداری را حل میکند؟ ** نه لزوماً. طبق تیم IBM ریسرچ، این یک محور مستقل از توانمندی است؛ مدل قویتر Mean@k را بالا میبرد اما شکاف پایایی را تضمیناً کم نمیکند.
Your Agent Aced the Task. Will It Do It Again? — Hugging Face Blog
برای خواندن تحلیلهای بیشتر، صفحهٔ اصلی یا دستهٔ مرتبط را دنبال کنید. میتوانید با میانبرهای صفحهکلید هم بین مقالهها جابهجا شوید.
Hugging Face Blog
https://huggingface.co/blog/ibm-research/altk-evolve-consistencyتحریریه هوشنامه این خبر را بر اساس گزارش منبع اصلی بازنویسی و ویرایش کرده است. برای جزئیات بیشتر به منبع مراجعه کنید.
مهمترین اخبار هوش مصنوعی را در ایمیلتان دریافت کنید. بدون تبلیغ، هرزمان بخواهید لغو کنید.
مدل پیشفرض Managed Agents به Gemini 3.6 Flash تغییر کرد؛ گوگل همچنین هوکهای محیطی، سقف مصرف توکن، تریگر زمانبندیشده و پلن رایگان را به Gemini API آورده است.
