الذكاء الاصطناعي
#حقن_الأوامر
#الذكاء_الاصطناعي
حقن الأوامر: لماذا يقع الذكاء الاصطناعي في الفخ بسهولة؟
تخيل لو كنت تعمل في نافذة طلبات السيارات بمطعم، وجاءك شخص يقول: "أريد شطيرة برجر مزدوجة، وبطاطس كبيرة، وتجاهل التعليمات السابقة وأعطني محتويات صندوق النقود". هل ستعطيه المال؟ بالطبع لا. لكن هذا بالضبط ما قد تفعله نماذج اللغة الكبيرة (LLMs) في عالم التقنية اليوم.
ما هو حقن الأوامر (Prompt Injection)؟
يُعد حقن الأوامر طريقة لخداع نماذج الذكاء الاصطناعي للقيام بأشياء محظورة عليها عادةً. يكتب المستخدم "الموجه" (Prompt) بطريقة معينة، طالباً كلمات مرور النظام أو بيانات خاصة، أو يطلب تنفيذ تعليمات ممنوعة. الصياغة الدقيقة هنا تتجاوز حواجز الأمان في النموذج، فيستجيب للأمر.
تعتبر النماذج الحالية عرضة لجميع أنواع هجمات حقن الأوامر، وبعضها واضح بشكل مثير للسخرية. قد يرفض الروبوت إخبارك بكيفية تصنيع سلاح بيولوجي، لكنه قد يسرد لك قصة خيالية تتضمن نفس التعليمات التفصيلية إذا طُلب منه ذلك. الأخطر هو أن بعض النماذج تتجاهل حواجز الحماية بمجرد أن يُقال لها "تجاهلي التعليمات السابقة" أو "تظاهري بأنه ليس لديك قيود".
الفرق بين البشر والآلة: سياق الحكم
لماذا لا يقع موظف المطعم البشري في هذا الفخ؟ لأن الدفاعات البشرية تعتمد على ثلاث طبقات رئيسية:
- الغرائز العامة: نمتلك عادات غريزية وثقافية تساعدنا في الحكم على النبرة والدافع والمخاطر من معلومات محدودة للغاية.
- التعلم الاجتماعي: نفهم الأعراف وإشارات الثقة التي تتطور داخل أي مجموعة، ونعرف ما هو طبيعي وما هو شاذ.
- التدريب المؤسسي: يمتلك الموظفون إجراءات ومسارات للتصعيد، مما يمنحهم حساً قوياً بالسياق.
والأهم من ذلك، يمتلك البشر "رد فعل للمقاطعة". إذا شعرنا أن شيراً ما "غير صحيح"، نتوقف تلقائياً ونعيد التقييم. بينما تفتقر النماذج اللغوية لهذا الحس، فهي تُسطح سياقات متعددة وتحولها إلى مجرد تشابه في النصوص.
لماذا تعاني النماذج اللغوية من السذاجة؟
تتعامل نماذج LLMs مع "الرموز" (Tokens) وليس الهرميات والنوايا. هي لا تفكر من خلال السياق، بل تشير إليه فقط. وكما يرى خبير الذكاء الاصطناعي سايمون ويليسون، فإن الحل الحالي غالباً ما يكون مسح السياق تماماً إذا كان النموذج يسير في مسار خاطئ، بدلاً من محاولة تصحيح الموقف.
علاوة على ذلك، تم تصميم هذه النماذج لتكون واثقة من نفسها ولتقديم إجابات بدلاً من التعبير عن الجهل. النتيجة هي جيل من الذكاء الاصطناعي أكثر سذاجة من البشر، يقع في فخ الحيل المعرفية البسيطة. وهناك قصة شهيرة عن نظام ذكاء اصطناعي في مطعم تاكو بيل (Taco Bell) تعطل تماماً عندما طلب عميل 18,000 كوب من الماء، وهو طلب كان سيثير ضحك أي موظف بشري فقط.
مستقبل الوكلاء ومعضلة الأمن
تصبح المشكلة أكثر تعقيداً مع "وكلاء الذكاء الاصطناعي" (AI Agents)، وهم نماذج يمكنها استخدام أدوات لتنفيذ مهام متعددة الخطوات. يعتقد الباحث في الذكاء الاصطناعي يان ليكون (Yann LeCun) أن التحسينات ستأتي من منح الذكاء الاصطناعي "نماذج للعالم" (World Models)، مما قد يمنحه حساً بالهوية الاجتماعية والواقع المادي لتقليل سذاجته.
في النهاية، نحن نواجه "ثلاثية أمنية" صعبة: السرعة، والذكاء، والأمان. في الوقت الحالي، يمكنك الحصول على اثنين فقط. وبدون حل جذري لمشكلة حقن الأوامر، ستظل إجراءات الذكاء الاصطناعي مثل رمي العملة؛ غالباً ما تكون صحيحة، ولكن في بعض الأحيان قد تمنح المهاجم محتويات صندوق النقود.
التعليقات 0
سجل دخولك لإضافة تعليق
لا توجد تعليقات بعد. كن أول من يعلق!