الذكاء الاصطناعي
#أنظمة_RAG
#الذكاء_الاصطناعي
لماذا تفشل أنظمة RAG في قراءة المستندات المعقدة؟ (الحل)
اعتمدت العديد من الشركات مؤخراً شكلاً من أشكال أنظمة التوليد المعزز بالاسترجاع (RAG)، مدفوعة بوعود جذابة حول فهرسة ملفات PDF وربطها بنماذج لغوية لدمقرطة المعرفة المؤسسية فوراً. لكن بالنسبة للصناعات التي تعتمد على الهندسة الثقيلة، كان الواقع مخيباً للآمال؛ فعندما يطرح المهندسون أسئلة محددة حول البنية التحتية، غالباً ما يعاني البوت من "الهلوسة". الفشل هنا ليس في نموذج اللغة (LLM)، بل يكمن في مرحلة المعالجة المسبقة للبيانات.
وهم التقسيم الثابت للنصوص
تتعامل خطوط أنابيب RAG القياسية مع المستندات كسلاسل نصية مسطحة، وتستخدم ما يسمى "التقسيم ثابت الحجم" (Fixed-size chunking)، حيث يتم قطع المستند كل 500 حرف مثلاً. قد ينجح هذا الأسلوب مع النصوص النثرية، لكنه يدمر منطق الأدلة التقنية، حيث يقسم الجداول إلى نصفين ويفصل التسميات التوضيحية عن الصور، متجاهلاً التسلسل الهرمي المرئي للصفحة.
في دروس بايثون التعليمية القياسية لأنظمة RAG، يتم تقسيم النص حسب عدد الأحرف. لكن في ملفات PDF الخاصة بالمؤسسات، يُعد هذا كارثياً. تخيل جدولاً لمواصفات السلامة يمتد لـ 1000 رمز، وحجم التقسيم لديك هو 500؛ ستقوم بفصل عنوان "حد الجهد" عن قيمة "240 فولت". وبذلك تخزن قاعدة البيانات المتجهة هذه المعلومات بشكل منفصل، وعندما يسأل المستخدم عن حد الجهد، يعثر النظام على العنوان دون القيمة، مما يضطر نموذج اللغة للتخمين.
الحل: الانتقال إلى التقسيم الدلالي
الخطوة الأولى لإصلاح أنظمة RAG الإنتاجية هي التخلي عن عدد الأحرف التعسفي لصالح ذكاء المستندات. باستخدام أدوات تحليل تراعي التخطيط (مثل Azure Document Intelligence)، يمكن تقسيم البيانات بناءً على هيكل المستند مثل الفصول والأقسام والفقرات.
- الترابط المنطقي: يتم الاحتفاظ بالقسم الذي يصف جزءاً معيناً من الآلة كمتجه واحد، حتى لو اختلف طوله.
- حفظ الجداول: يحدد المحلل حدود الجدول ويجبر الشبكة بأكملها على البقاء في جزء واحد، مما يحافظ على علاقات الصفوف والأعمدة الحيوية للاسترجاع الدقيق.
تشير المعايير النوعية الداخلية إلى أن الانتقال من التقسيم الثابت إلى الدلالي يحسن دقة استرجاع البيانات المجدولة بشكل كبير، ويوقف تجزئة المواصفات التقنية.
كشف "البيانات المظلمة" المرئية
نقطة الفشل الثانية في أنظمة RAG للمؤسسات هي "العمى". توجد كمية هائلة من الملكية الفكرية للشركات ليس في النصوص، بل في المخططات الانسيابية والرسوم البيانية ومخططات بنية النظام. نماذج التضمين القياسية لا يمكنها "رؤية" هذه الصور ويتم تخطيها أثناء الفهرسة.
لجعل المخططات قابلة للبحث، تم تنفيذ خطوة معالجة مسبقة متعددة الوسائط (Multimodal textualization) باستخدام نماذج قادرة على الرؤية (تحديداً GPT-4o) قبل أن تصل البيانات إلى مخزن المتجهات:
- استخراج OCR: سحب التسميات النصية من داخل الصورة بدقة عالية.
- التسمية التوضيحية التوليدية: يحلل نموذج الرؤية الصورة وينشئ وصفاً تفصيلياً باللغة الطبيعية (مثلاً: "مخطط انسيابي يوضح أن العملية أ تؤدي إلى العملية ب إذا تجاوزت الحرارة 50 درجة").
- التضمين الهجين: يتم تضمين هذا الوصف وتخزينه كبيانات وصفية مرتبطة بالصورة الأصلية.
بناء الثقة عبر الاستشهاد المرئي
الدقة هي نصف المعركة فقط؛ النصف الآخر هو القابلية للتحقق. في واجهات RAG القياسية، يقدم الروبوت إجابة نصية ويذكر اسم الملف، مما يجبر المستخدم على البحث يدوياً للتأكد. ولحل هذه المشكلة، يجب أن تنفذ البنية "الاستشهاد المرئي".
بفضل الحفاظ على الرابط بين جزء النص والصورة الأصلية أثناء المعالجة المسبقة، يمكن لواجهة المستخدم عرض المخطط أو الجدول الدقيق الذي استُخدم لتوليد الإجابة جنباً إلى جنب مع الرد النصي. تتيح آلية "إظهار العمل" هذه للبشر التحقق من منطق الذكاء الاصطناعي فوراً.
نظرة مستقبلية: التضمينات متعددة الوسائط الأصلية
بينما يُعد تحويل الصور إلى أوصاف نصية الحل العملي اليوم، فإن البنية التحتية تتطور بسرعة. نشهد حالياً ظهور تضمينات متعددة الوسائط أصلية (مثل Embed 4 من Cohere)، والتي يمكنها تعيين النصوص والصور في نفس مساحة المتجه دون الحاجة لخطوة التسمية التوضيحية الوسيطة.
ختاماً، الفرق بين عرض تجريبي لنظام RAG ونظام إنتاجي يكمن في كيفية التعامل مع واقع بيانات المؤسسة الفوضوي. توقف عن معاملة مستنداتك كسلاسل نصية بسيطة؛ إذا أردت أن يفهم الذكاء الاصطناعي عملك، يجب عليك احترام هيكلية مستنداتك.
الأسئلة الشائعة
التقسيم الثابت يقطع المستندات بناءً على عدد الأحرف فقط، مما يؤدي إلى تدمير منطق الجداول وفصل العناوين عن القيم، مسبباً إجابات غير دقيقة.
يعتمد التقسيم الدلالي على فهم هيكل المستند (فصول، جداول، فقرات) باستخدام أدوات ذكية، مما يحافظ على ترابط المعلومات ويمنع تجزئة البيانات المجدولة.
عن طريق استخدام نماذج متعددة الوسائط مثل GPT-4o لتحليل الصور وتوليد وصف نصي دقيق لها، يتم تخزينه وفهرسته لتمكين البحث عنه.
التعليقات 0
سجل دخولك لإضافة تعليق
لا توجد تعليقات بعد. كن أول من يعلق!