الذكاء الاصطناعي
#الذاكرة_الشرطية
#DeepSeek
ذاكرة شرطية من DeepSeek: تحسين استخدام دورات GPU
تسعى الشركات اليوم إلى تحسين كفاءة أنظمة الذكاء الاصطناعي، وخاصة عند استخدام نماذج اللغة الكبيرة (LLMs). في هذا السياق، تقدم DeepSeek بحثًا جديدًا حول "الذاكرة الشرطية"، والتي تعالج مشكلة هدر دورات GPU في استرجاع المعلومات الثابتة.
ما هي الذاكرة الشرطية؟
عندما تسترجع نماذج اللغة الكبيرة اسم منتج أو مواصفة تقنية، فإنها تستخدم حسابات GPU باهظة الثمن. هذا الهدر يحدث ملايين المرات يوميًا، مما يزيد من تكاليف البنية التحتية. تقدم DeepSeek حلًا من خلال إدخال وحدة Engram، التي تفصل بين استرجاع الأنماط الثابتة والتفكير الديناميكي.
من خلال التجارب المنهجية، وجدت DeepSeek التوازن الأمثل بين الحساب والذاكرة، حيث تم تخصيص 75% من سعة النموذج الديناميكي و25% للاسترجاع الثابت. هذا النظام الجديد يحسن من قدرة التفكير أكثر من استرجاع المعرفة.
كيف تعمل الذاكرة الشرطية؟
تقدم Engram "الذاكرة الشرطية" التي تعمل بالتوازي مع حسابات MoE الشرطية. تستخدم هذه الوحدة دوال هاش لاسترجاع الأنماط من جدول كبير من التضمينات، مما يسهل الوصول إلى المعلومات بسرعة.
التعليقات 0
سجل دخولك لإضافة تعليق
لا توجد تعليقات بعد. كن أول من يعلق!