بحث
تقنية ثورية من MIT تعالج 10 ملايين رمز دون فقدان الذاكرة
الذكاء الاصطناعي #الذكاء_الاصطناعي #MIT

تقنية ثورية من MIT تعالج 10 ملايين رمز دون فقدان الذاكرة

تاريخ النشر: آخر تحديث: 116 مشاهدة 0 تعليق 3 دقائق قراءة
116 مشاهدة
0 إعجاب
0 تعليق
موثوق 95%

في خطوة قد تغير قواعد اللعبة في عالم الذكاء الاصطناعي، طور باحثون في مختبر علوم الكمبيوتر والذكاء الاصطناعي بمعهد ماساتشوستس للتكنولوجيا (MIT CSAIL) تقنية استدلال جديدة تُعرف باسم "نماذج اللغة العودية" (RLMs). تتيح هذه التقنية للنماذج معالجة نصوص ضخمة تصل إلى 10 ملايين رمز (Tokens) من خلال التعامل مع الأوامر الطويلة كبيئة خارجية بدلاً من حشرها في ذاكرة النموذج المحدودة.

معضلة "تدهور السياق" في النماذج الحالية

تواجه النماذج الرائدة اليوم تحدياً كبيراً يتمثل في عدم قدرتها على معالجة كميات هائلة من المعلومات بنفس كفاءة قدراتها الاستنتاجية. يعود هذا الاختناق إلى قيدين رئيسيين: الحدود المادية لطول السياق (Context Length)، وما يُعرف بظاهرة "تدهور السياق" (Context Rot)، حيث يتراجع أداء النموذج كلما زاد حجم البيانات المدخلة.

وفي حديثه لموقع VentureBeat، أوضح أليكس تشانغ، المؤلف المشارك للورقة البحثية، أن توسيع نافذة السياق ببساطة ليس حلاً عملياً، مشيراً إلى حجة الانتروبيا التي تعني الحاجة إلى عينات بيانات أكثر بشكل أسي كلما زاد حجم النافذة الفعالة.

كيف تعمل النماذج العودية (RLMs)؟

استلهم الباحثون فكرة RLMs من خوارزميات الحوسبة الكلاسيكية التي تعالج بيانات أكبر من ذاكرة الحاسوب (Out-of-core algorithms). بدلاً من إدخال النص الكامل في الشبكة العصبية، يقوم إطار العمل بتحميل النص كمتغير داخل بيئة برمجة Python.

كما تظهر صورة 1 المرفقة (Recursive language model)، يعمل النموذج كمبرمج؛ حيث يكتب كود Python للتفاعل مع النص الخارجي، مستخدماً أوامر قياسية للبحث عن مقتطفات محددة (مثل "الفصل الأول" أو نتائج مالية)، ثم يسحب فقط الجزء ذي الصلة لتحليله.

هندسة النظام والأداء الخارق

تعتمد البنية الهندسية للنظام، كما توضح صورة 2 (RLM architecture)، على وكيلين: "نموذج اللغة الجذري" (Root LM) الذي يعمل كمنسق ويخطط للنهج (غالباً نموذج بقدرات عالية مثل GPT-5 كما ذكر المصدر)، و"نموذج اللغة العودي" الذي يعمل كمنفذ للمهام الصغيرة.

أظهرت الاختبارات نتائج مذهلة عند مقياس 10 ملايين رمز. ففي اختبار BrowseComp-Plus، فشلت النماذج الأساسية تماماً محققة 0%، بينما حقق نظام RLM المدعوم بـ GPT-5 دقة بلغت 91.33%. وتوضح صورة 3 (RLM performance) كيف يحافظ النموذج على أدائه ثابتاً حتى بعد تجاوز حدود نافذة السياق التقليدية، متغلباً على مشكلة تدهور الأداء التي تعاني منها النماذج الأخرى.

التكلفة والمستقبل

على الرغم من تعقيد سير العمل، حافظت نماذج RLM على تكاليف أقل أو مماثلة للطرق التقليدية، حيث كانت أرخص بثلاث مرات من طرق التلخيص في بعض الاختبارات. ومع ذلك، أشار الباحثون إلى تحديات تتعلق بـ "الحالات المتطرفة" حيث قد يدخل النموذج (مثل Qwen3-Coder مفتوح المصدر) في حلقات تكرارية مكلفة.

وتخطط شركات مثل Prime Intellect لدمج RLMs في عمليات التدريب المستقبلية. ويرى تشانغ أن هذه النماذج لا تستبدل تقنيات مثل RAG، بل تعمل جنباً إلى جنب معها لتقديم حلول فعالة للمهام المؤسسية المعقدة. الكود الخاص بالمشروع متاح حالياً للمطورين عبر منصة GitHub للتجربة.

التعليقات 0

سجل دخولك لإضافة تعليق

لا توجد تعليقات بعد. كن أول من يعلق!