الذكاء الاصطناعي
#مجموعة_إيتين
#نماذج_الذكاء_الاصطناعي
مجموعة إيتين: نماذج الترميز والترميز العكسي المتطورة
في عالم الذكاء الاصطناعي، تعد مجموعة إيتين من النماذج المتطورة التي تجمع بين أجهزة الترميز وأجهزة فك الترميز. نُشر هذا المقال في 16 يوليو 2025، ويستعرض كيفية تطبيق وصفة ModernBERT على نماذج تعمل كأجهزة فك فقط، مما أدى إلى تطوير نموذج لغة متفوق يتفوق على Llama 3.2 وSmolLM2.
ملخص
تقدم مجموعة إيتين أول مجموعة من نماذج الترميز العكسي والترميز المتطور (17M-1B params) المدربة بنفس البيانات (2T tokens) والهندسة ووصفات التدريب. يتيح إيتين مقارنات حقيقية بين الهياكل ويقدم أداءً متطورًا لنماذج البيانات المفتوحة في كلا الفئتين. كما نستكشف إمكانية الحصول على جهاز ترميز تنافسي بدءًا من جهاز فك والعكس صحيح.
إذا كنت مهتمًا بتجربة النماذج، فبعض القوالب متاحة في نهاية هذه المدونة!
أجهزة الترميز مقابل أجهزة فك الترميز: الفجوة المعمارية
لقد اتفقت مجتمع LLM بشكل كبير على نماذج تعمل كأجهزة فك فقط مثل GPT وLlama وQwen. إن قدراتها التوليدية مثيرة للإعجاب، لكن هذا التركيز يشتت الانتباه عن فئات أخرى، مثل نماذج تعمل كأجهزة ترميز فقط مثل BERT. تظل نماذج BERT-like كأجهزة ترميز هي العمود الفقري للأنظمة الإنتاجية لمهام التصنيف والاسترجاع والتضمين.
وصفة التدريب: تقنيات حديثة لكلا المعماريتين
نحن نبني على وصفة ModernBERT، التي استمدت تقنيات حديثة من نماذج فك الترميز فقط وجلبتها إلى تدريب أجهزة الترميز. هذا يوفر قاعدة قوية لتدريب كلا المعماريتين.
نتائج أجهزة الترميز: التفوق على ModernBERT
تتفوق نماذج الترميز لدينا على ModernBERT في جميع المهام وأحجام النماذج، بينما تستخدم بيانات تدريب مفتوحة تمامًا. نظرًا لأننا نقدم مجموعة واسعة من الأحجام، يمكنك الآن استخدام نماذج على طراز ModernBERT بأحجام أصغر.
نتائج أجهزة فك الترميز: التفوق على Llama 3.2 و SmolLM2
تطبيق نفس الوصفة على نماذج فك الترميز يعطي نتائج مثيرة للإعجاب، حيث تتفوق نماذجنا على أو تتطابق مع المعايير المعروفة مثل Llama 3.2 و SmolLM2.
ما وراء الأداء: فهم سلوك النموذج
من خلال استخدام بيانات تدريب متطابقة، يمكننا دراسة كيفية تأثير الأهداف المختلفة على التعلم. يكشف تحليل التحيز الجنسي عن تفضيلات مختلفة بين نماذج الترميز ونماذج فك الترميز.
أمثلة على الاستخدام
يمكنك استخدام هذه النماذج ببضع سطور من الشيفرة! للمهام المتعلقة بالتصنيف والاسترجاع، استخدم نماذج الترميز، وللمهام المتعلقة بتوليد النصوص، استخدم نماذج الترميز العكسي.
عائلة النموذج والروابط
تشمل مجموعة Ettin الكاملة نماذج بأحجام مختلفة (لكلا من المفككات والمشفكات). كما تتوفر موارد البحث مثل مجموعة نماذج Ettin والورقة البحثية وبيانات التدريب.
في ختام هذا المقال، نود أن نشكر جميع المشاركين الذين ساهموا بأفكارهم وتعليقاتهم القيمة. كان النقاش مثيرًا للاهتمام، ونأمل أن نكون قد قدمنا معلومات مفيدة حول مجموعة Ettin من الترميزيات والمفككات.
التعليقات 0
سجل دخولك لإضافة تعليق
لا توجد تعليقات بعد. كن أول من يعلق!