كشف اختبار جديد أجراه باحثون من "علي بابا" بالتعاون مع جامعات آسيوية أن نماذج الذكاء الاصطناعي المتقدمة لا تزال تواجه صعوبات في إنجاز مهام البرمجة المعقدة بصورة كاملة، إذ لم يتمكن النموذج الأفضل أداءً من استيفاء جميع متطلبات المهمة إلا في 26.4% من الحالات، رغم تحقيقه نتائج أعلى بكثير عند تقييم المتطلبات بصورة منفصلة.
وبحسب ورقة بحثية نُشرت على منصة "أركايف"، تصدر نموذج "جي بي تي 6 أسترا" من شركة "أوبن إيه آي" اختبارًا شمل عشرة نماذج تجارية ومفتوحة الأوزان، بعدما استوفى في المتوسط 69.9% من معايير القبول المحددة لكل مهمة، لكنه نجح في إكمال 26.4% فقط من إجمالي 273 مهمة برمجية.
وأعد الباحثون إطار التقييم الجديد، الذي يحمل اسم "كو ديزاين بنش"، بالاعتماد على مشكلات واجهها مطورون حقيقيون أثناء استخدام وكلاء الذكاء الاصطناعي في تعديل تطبيقات وبرمجيات قائمة.
ويهدف الاختبار إلى قياس قدرة النماذج على تنفيذ طلبات المستخدمين بالكامل، بدلًا من الاكتفاء بتقييم جودة أجزاء منفصلة من الشيفرة البرمجية أو نجاح النموذج في اجتياز اختبارات محدودة.
ووفقًا للتقرير الذي نشره موقع "إم إل كيو"، استند الباحثون إلى 37 ألفًا و463 طلبًا بعد إزالة التكرارات، جُمعت من 26 ألفًا و314 جلسة برمجة فعلية.
وركز الفريق على الحالات التي واجه فيها المستخدمون صعوبات واضحة مع أدوات الذكاء الاصطناعي، مثل اضطرارهم إلى إعادة صياغة الطلب أكثر من مرة، أو إرسال تعليمات إضافية بصورة متكررة، أو التراجع يدويًا عن تعديلات نفذتها الأدوات.
التعليقات (0)