رغم تقدمها: نماذج الذكاء الاصطناعي تواجه صعوبات في تعديل البرمجيات المعقدة

كشف اختبار جديد أجراه باحثون من "علي بابا" بالتعاون مع جامعات آسيوية أن نماذج الذكاء الاصطناعي المتقدمة لا تزال تواجه صعوبات في إنجاز مهام البرمجة المعقدة بصورة كاملة، إذ لم يتمكن النموذج الأفضل أداءً من استيفاء جميع متطلبات المهمة إلا في 26.4% من الحالات، رغم تحقيقه نتائج أعلى بكثير عند تقييم المتطلبات بصورة منفصلة.

وبحسب ورقة بحثية نُشرت على منصة "أركايف"، تصدر نموذج "جي بي تي 6 أسترا" من شركة "أوبن إيه آي" اختبارًا شمل عشرة نماذج تجارية ومفتوحة الأوزان، بعدما استوفى في المتوسط 69.9% من معايير القبول المحددة لكل مهمة، لكنه نجح في إكمال 26.4% فقط من إجمالي 273 مهمة برمجية.

وأعد الباحثون إطار التقييم الجديد، الذي يحمل اسم "كو ديزاين بنش"، بالاعتماد على مشكلات واجهها مطورون حقيقيون أثناء استخدام وكلاء الذكاء الاصطناعي في تعديل تطبيقات وبرمجيات قائمة.

ويهدف الاختبار إلى قياس قدرة النماذج على تنفيذ طلبات المستخدمين بالكامل، بدلًا من الاكتفاء بتقييم جودة أجزاء منفصلة من الشيفرة البرمجية أو نجاح النموذج في اجتياز اختبارات محدودة.

ووفقًا للتقرير الذي نشره موقع "إم إل كيو"، استند الباحثون إلى 37 ألفًا و463 طلبًا بعد إزالة التكرارات، جُمعت من 26 ألفًا و314 جلسة برمجة فعلية.

وركز الفريق على الحالات التي واجه فيها المستخدمون صعوبات واضحة مع أدوات الذكاء الاصطناعي، مثل اضطرارهم إلى إعادة صياغة الطلب أكثر من مرة، أو إرسال تعليمات إضافية بصورة متكررة، أو التراجع يدويًا عن تعديلات نفذتها الأدوات.

وبعد مراجعة هذه الحالات وتنقيحها، اختار الخبراء 273 مهمة نهائية، ووضعوا لها 2331 معيار قبول مخفيًا للتحقق من مدى التزام النماذج بجميع المتطلبات.

فجوة بين إنجاز المهمة وتنفيذ متطلباتها

أظهرت النتائج أن قدرة النماذج على تنفيذ معظم التعليمات لا تعني بالضرورة نجاحها في تسليم مشروع برمجي مكتمل.

فقد حقق "جي بي تي 6 أسترا" أعلى متوسط لاستيفاء معايير التقييم، بنسبة 69.9%، لكنه لم ينجح في تنفيذ جميع المعايير المطلوبة إلا في نحو ربع المهام المختبرة.

وجاء نموذج "كلود أوبوس 5" من شركة "أنثروبيك" بعده، بمتوسط استيفاء بلغ 66.1% من المعايير، ونسبة إنجاز كامل للمهام بلغت 18.3%.

وحل نموذج "كوين 3.8 ماكس" من "علي بابا" ضمن النماذج الأعلى أداءً، بعدما استوفى 65.3% من المعايير، مع إكمال 16.5% من المهام بصورة كاملة.

أما نموذج "كيمي كيه 3"، فحقق متوسط استيفاء بلغ 62.9%، ونسبة إنجاز كامل وصلت إلى 15.8%، مقارنة بـ15% لنموذج "كوين 3.8" ذي 27 مليار معلمة.

وسجل نموذج "جي بي تي 5.6 سول" نسبة إنجاز كامل بلغت 14.3%، بينما تراجعت النسب إلى 10.6% لنموذج "جي إل إم 5.3 فلاش"، و10.3% لنموذج "كلود أوبوس 4.8"، و9.5% لنموذج "جي إل إم 5.2".

وجاء نموذج "غروك 4.6" من شركة "إكس إيه آي" في نهاية الترتيب، بعدما استوفى 51.1% من معايير القبول في المتوسط، ولم يتمكن من إكمال سوى 6.6% من المهام بالكامل.

تعديل الملفات المعقدة أصعب من المهام الموضعية

قسّم الباحثون الاختبار إلى مسارين رئيسيين، يركز الأول على تعديلات موضعية متعددة الوسائط، يمكن أن تتضمن تعليمات مستمدة من الصور أو التسجيلات الصوتية أو مقاطع الفيديو أو المستندات.

أما المسار الثاني، فيختبر قدرة النماذج على إجراء تعديلات مترابطة عبر مستودعات برمجية كاملة، بما يتطلب تنسيق التغييرات بين ملفات ومكونات متعددة داخل التطبيق.

وأظهرت النتائج تفاوتًا واضحًا بين المسارين، إذ تمكن "جي بي تي 6 أسترا" من إنجاز 41% من المهام متعددة الوسائط بصورة كاملة، مقابل 17.9% فقط في مهام تعديل المستودعات البرمجية.

ولم تقتصر هذه الصعوبة على النموذج المتصدر، إذ سجلت النماذج العشرة جميعها نتائج أقل عند التعامل مع تعديلات تشمل ثلاث أو أربع فئات مختلفة من التغييرات، مقارنة بالمهام التي تتطلب تعديل فئة واحدة أو فئتين.

وتشير هذه النتائج إلى أن تنفيذ تغييرات مترابطة داخل تطبيق كامل لا يزال أكثر تعقيدًا بالنسبة إلى وكلاء الذكاء الاصطناعي من إجراء تعديلات محدودة في أجزاء منفصلة منه.

ولضمان دقة التقييم، اعتمد الباحثون على آلية تفحص التطبيقات بعد تعديلها داخل متصفح، إلى جانب مراجعة الشيفرة البرمجية للتحقق من تنفيذ الوظائف المطلوبة.

كما استعانوا بنظام تحقق مستقل لمراجعة النتائج الإيجابية والجزئية، بهدف استبعاد الحلول التي تكتفي بمحاكاة المظهر المطلوب أو تقديم وظائف شكلية دون تنفيذ المتطلبات الفعلية.

استهلاك حوسبة أكبر لا يعني أداءً أفضل

كشف الاختبار أيضًا أن زيادة الموارد الحوسبية المستخدمة في تنفيذ المهام لا ترتبط بالضرورة بتحقيق نتائج أفضل.

فقد استهلك "جي بي تي 6 أسترا" وسيطًا بلغ نحو 1.24 مليون وحدة معالجة نصية لكل مهمة متعددة الوسائط، مقارنة بنحو 7.29 ملايين وحدة لنموذج "جي إل إم 5.2"، رغم أن الأخير حقق نتائج أقل.

ولم تتضمن الدراسة تفاصيل تكاليف تراخيص المنصات أو الاستضافة، ما يحد من إمكانية إجراء مقارنة مالية شاملة بين النماذج المختبرة.

كما أظهرت النتائج أن أداء النموذج يتأثر ببيئة التشغيل التي يستخدمها، وليس بقدراته وحدها.

فعندما استبدل الباحثون بيئة "كوين كود" ببيئة "أوبن كود"، ارتفعت درجة نموذج "كوين 3.8" ذي 27 مليار معلمة في اختبار تعديل المستودعات من 0.560 إلى 0.749.

وتغير الفارق بين أداء هذا النموذج ونموذج "كيمي كيه 3" بما يصل إلى 16.2 نقطة تبعًا لأداة التشغيل المستخدمة.

ودفع ذلك الباحثين إلى الدعوة لعرض اسم النموذج وبيئة تشغيله معًا في تصنيفات الأداء، بدلًا من التعامل مع نتائج الاختبارات باعتبارها مقياسًا لقدرات النموذج بمعزل عن الأدوات التي يعمل من خلالها.

حدود الاختبارات التقليدية

تأتي الدراسة في وقت تتزايد فيه التساؤلات بشأن قدرة مؤشرات تقييم البرمجة التقليدية على قياس أداء أدوات الذكاء الاصطناعي في ظروف الاستخدام الفعلي.

فبعض الاختبارات السابقة، ومنها "ويب كومباس"، اقتربت من التشبع بعد تجاوز نماذج متقدمة نسبة 99%، رغم اختلاف طبيعة المهام المستخدمة فيها عن المهام التي يتضمنها الاختبار الجديد.

كما أظهرت اختبارات أخرى، مثل "سي دبليو إي بنش" في نسخته الثانية، استمرار إخفاق وكلاء البرمجة في بعض مهام إصلاح الثغرات الأمنية.

وسعى الباحثون في الاختبار الجديد إلى معالجة هذه الفجوة عبر استخدام طلبات مستمدة من جلسات تطوير حقيقية، والتركيز على الحالات التي اضطر فيها المستخدمون إلى التدخل بسبب عدم تنفيذ التعليمات كما ينبغي.

ومع ذلك، أقر فريق البحث بأن إطار التقييم نفسه لا يخلو من القيود، أبرزها اعتماد تعليمات ثابتة لا تسمح للوكلاء بطرح أسئلة استيضاحية أو تلقي تصحيحات فورية من المستخدمين أثناء تنفيذ المهام.

وأشار الباحثون أيضًا إلى احتمال وقوع أخطاء في أحكام أنظمة الذكاء الاصطناعي المستخدمة لتقييم النتائج، رغم اعتماد آليات مراجعة إضافية.

وتبرز الدراسة استمرار الفجوة بين قدرة نماذج الذكاء الاصطناعي على تنفيذ أجزاء كبيرة من مهام البرمجة، وقدرتها على إنجاز المشاريع المعقدة بصورة كاملة دون تدخل بشري، خصوصًا عندما تتطلب المهمة تنسيق تعديلات متعددة داخل التطبيق نفسه.