لماذا بدأ الذكاء الاصطناعي يتصرف بطرق لم يتوقعها مطوروه؟

تتسارع قدرات نماذج الذكاء الاصطناعي مع انتقالها من توليد الإجابات إلى التخطيط وتنفيذ المهام واستخدام الأدوات والتفاعل مع بيئات خارجية، وهو ما يمنحها مساحة أكبر لاتخاذ قرارات لم يحددها المطورون مسبقا.

ومع اتساع هذه القدرات، ظهرت سلوكيات غير متوقعة، إذ قد تلجأ النماذج إلى طرق مبتكرة لتحقيق الهدف المحدد لها، لكنها لا تتوافق بالضرورة مع ما قصده مصمموها، خصوصا عندما تكون الأهداف أو أنظمة المكافأة غير مكتملة أو عندما تتمتع النماذج بصلاحيات واسعة.

يمثل الانتقال من نماذج توليد النصوص إلى وكلاء الذكاء الاصطناعي أحد أهم التحولات في هذه المسألة، فبدل الاكتفاء بإنتاج إجابة، يستطيع الوكيل تقسيم المهمة إلى مراحل، واستخدام محركات البحث والبرمجيات، وكتابة الشيفرة وتشغيلها، والوصول إلى الملفات أو الخدمات الخارجية وفق الصلاحيات الممنوحة له.

وهذا التوسع يغير طبيعة المخاطر، ففي النموذج التقليدي قد تكون الإجابة الخاطئة هي نهاية المشكلة، أما الوكيل فيمكن أن يحول قرارًا خاطئًا إلى سلسلة من الأفعال التي تؤثر في البيئة المحيطة به.

وتشير مؤسسة ميتر (METR) الأمريكية للأبحاث، والتي تجري اختبارات على قدرات النماذج المتقدمة، إلى أن قدرات الوكلاء على إنجاز المهام البرمجية المعقدة تتزايد، وهو ما يجعل تقييم سلوكهم في المهام الطويلة أكثر أهمية من اختبار قدرتهم على الإجابة عن أسئلة منفردة.

ومن أبرز المشكلات التي يدرسها الباحثون ما يسمى اختراق المكافأة (Reward Hacking)، ويحدث عندما يجد النظام طريقة للحصول على المكافأة التي صممها المطور، لكن عبر استغلال ثغرة في طريقة تعريف المهمة بدل تحقيق الهدف المقصود.