كيف يمكن لفرق الأمان تقليل فوضى الذكاء الاصطناعي الوكيلي

تُعرف فرق الأمان جيدًا التهديدات الداخلية: مهاجم أو شخص لديه نية خبيثة داخل المنظمة، لأنه موظف أو متعاقد موثوق أو شريك لديه وصول مميز. لكن هناك نوع جديد من الداخلين - ليس بالضرورة خبيثًا، ولكنه أيضًا ليس إنسانًا. أنظمة الذكاء الاصطناعي الوكيلة، التي تعمل نيابة عن البشر الذين ينشرونها، على وشك استبدال اتخاذ القرار البشري وكشف نقاط الضعف في أطر التفويض التقليدية.

قد يكون ظهور الذكاء الاصطناعي الوكيلي كارثة على أنظمة التفويض في منصات البرمجيات كخدمة (SaaS) كما نعرفها اليوم. لكن لا يجب أن يكون الأمر كذلك، إذا تعاملت فرق الأمان وتكنولوجيا المعلومات مع التحديات بشكل استباقي ومن منظور صحيح. يجب على الفرق أولاً أن تعرف أين ولماذا تشكل الوكلاء خطرًا كبيرًا على أنظمة التفويض الخاصة بهم.

ما هو جيد للبشر لا يعني أنه جيد للوكلاء

التفويض، أو AuthZ، يتعلق بإدارة وصول المستخدمين إلى الموارد: التأكد من أنك تستطيع القيام فقط بما هو مسموح لك. ومع ذلك، من المهم ملاحظة أن أنظمة AuthZ لا تمنع بالضرورة كل ما قد يحاول المستخدمون القيام به. معظم أنظمة AuthZ الحالية مُصممة على افتراض أن عوامل خارجية مثل القوانين أو مخاطر الرفض الاجتماعي أو العادات ستقيد السلوك البشري السيء.

نتيجة لذلك، ليس عادةً مشكلة عندما يقوم نظام AuthZ بتوفير وصول زائد. يحدث توفير الوصول الزائد طوال الوقت. على سبيل المثال، عندما ينضم شخص ما إلى شركة جديدة، يكون من الأسهل نسخ مجموعة موجودة من الأدوار إلى حسابه بدلاً من التفكير بعناية فيما يحتاج إلى الوصول إليه. حتى الآن، لم يتسبب هذا النهج عادةً في مشاكل كبيرة، لأن معظم الناس لن يستغلوا الوصول المفرط. في السياق، يعرفون أنهم قد يفقدون وظائفهم أو ثقة الآخرين أو قد يواجهون عقوبات قانونية إذا انتهكوا إرشادات الشركة. لكن أنظمة الذكاء الاصطناعي الوكيلة لا تعاني من مثل هذه القيود.

ها هم وكلاء الفوضى

أنظمة الذكاء الاصطناعي الوكيلة هي مجموعات من الوكلاء الذين يعملون معًا لتحقيق مهمة معينة باستقلالية نسبية. تصميمها يمكّنها من اكتشاف الحلول وتحسين الكفاءة. النتيجة هي أن الوكلاء الذكاء الاصطناعي غير حتميين وقد يتصرفون بطرق غير متوقعة عند إنجاز المهام، خاصةً عندما تتعاون الأنظمة وتصبح أكثر تعقيدًا. بينما يسعى الوكلاء الذكاء الاصطناعي لتحقيق مهامهم بكفاءة، فإنهم سيخترعون سير عمل وحلول لم يفكر فيها أي إنسان من قبل (أو لن يفكر فيها). هذا سيؤدي إلى طرق جديدة مذهلة لحل المشكلات - وسيتحدى بلا شك حدود ما هو مسموح.

تسقط السلوكيات الناشئة للوكلاء الذكاء الاصطناعي، بحكم تعريفها، خارج نطاق أي حوكمة قائمة على القواعد، لأن تلك القواعد مبنية على ما نتوقعه من البشر. من خلال إنشاء وكلاء قادرين على اكتشاف طرق عملهم الخاصة، نحن نفتح الباب أمام الوكلاء للقيام بأشياء لم يتوقعها البشر من قبل. نتيجة لذلك، قد تبدأ الوكلاء الذين يعملون نيابة عن البشر في كشف حقوق الوصول والأدوار المفرطة للمستخدمين. غير مقيدين بالمعايير الاجتماعية التي تحافظ على انضباط البشر، قد تتسبب الوكلاء الذكاء الاصطناعي في عواقب ضارة على الأعمال.

على سبيل المثال، قد يبدأ الذكاء الاصطناعي المكلف بإنشاء حل لتدفق الخروج للمستخدمين في كتابة كود لتحسين عملية الخروج. لا تريد أن يقوم هذا الوكيل بنشر كود في بيئة الإنتاج الخاصة بك يتسبب في تعطيل الخدمات في Amazon Web Services (AWS) أو Google Cloud التي يعتبرها غير ذات صلة بمهمته (ولكنها ضرورية لجوانب أخرى من الأعمال)، أو تقديم عدم استقرار في مجموعة الأنظمة المستقرة نسبيًا.

ترويض وكلاء الذكاء الاصطناعي من خلال الحوكمة المناسبة

يمكن لفرق الأمان أن تمنع الفوضى التي قد يسببها الذكاء الاصطناعي الوكيلي داخل أنظمة AuthZ الخاصة بهم من خلال تبني أفضل الممارسات الناشئة بشكل استباقي. ستحدث الحوكمة المسؤولة فرقًا كبيرًا، ويمكن للمنظمات أن تبدأ بالتركيز على بعض المجالات الرئيسية:

الهويات المركبة

في الوقت الحالي، لا تستطيع أنظمة المصادقة (AuthN) وأنظمة AuthZ التمييز بين المستخدمين البشر ووكلاء الذكاء الاصطناعي. عندما تقوم وكلاء الذكاء الاصطناعي بتنفيذ إجراءات، فإنهم يعملون نيابة عن المستخدمين البشر أو يستخدمون هوية مُعينة لهم بناءً على نظام AuthN وAuthZ الذي يركز على البشر. هذا يعقد عملية الإجابة عن أسئلة كانت بسيطة سابقًا، مثل: من كتب هذا الكود؟ من بدأ طلب الدمج هذا؟ من أنشأ هذا الالتزام في Git؟ كما يطرح أسئلة جديدة، مثل: من أخبر وكيل الذكاء الاصطناعي بإنشاء هذا الكود؟ ما السياق الذي احتاجه الوكيل لبنائه؟ ما الموارد التي كان لدى الذكاء الاصطناعي وصول إليها؟ تمنحك الهويات المركبة وسيلة للإجابة عن هذه الأسئلة. تربط الهوية المركبة هوية وكيل الذكاء الاصطناعي بالمستخدم البشري الذي يوجهه. ونتيجة لذلك، عندما يحاول وكيل الذكاء الاصطناعي الوصول إلى مورد، يمكنك مصادقته وتفويضه وربطه بالمستخدم البشري المسؤول.

أطر مراقبة شاملة

تحتاج فرق العمليات والتطوير والأمان إلى طرق لمراقبة أنشطة وكلاء الذكاء الاصطناعي عبر سير العمل والعمليات والأنظمة المتعددة. ليس كافيًا أن تعرف ما يفعله وكيل في قاعدة بيانات الكود الخاصة بك، على سبيل المثال - تحتاج أيضًا إلى أن تكون قادرًا على مراقبة نشاطه في بيئات الاختبار والإنتاج، وفي قواعد البيانات المرتبطة، وفي أي تطبيقات قد يكون لديه وصول إليها. من الممكن تخيل عالم تستخدم فيه المنظمات أنظمة معلومات الموارد المستقلة (ARIS) التي تتوازى مع أنظمة معلومات الموارد البشرية الحالية (HRIS)، مما يمكّننا من الحفاظ على ملفات تعريف للوكلاء المستقلين، وتوثيق قدراتهم وتخصصاتهم، وإدارة حدود عملياتهم. يمكننا رؤية بدايات هذه التقنيات في أنظمة إدارة بيانات LLM مثل Knostic، لكن هذا مجرد البداية.

الشفافية والمساءلة

مع أو بدون أطر مراقبة متقدمة، تحتاج المنظمات وموظفوها إلى أن يكونوا شفافين بشأن متى يستخدمون الذكاء الاصطناعي. يحتاجون إلى إنشاء هياكل مساءلة واضحة للوكلاء الذكاء الاصطناعي المستقلين. يجب على البشر مراجعة أفعال ونتائج الوكلاء بانتظام، والأهم من ذلك، يجب أن يكون هناك شخص مسؤول إذا تجاوز الوكيل حدوده.

نشر الوكلاء بمسؤولية

ستجلب وكلاء الذكاء الاصطناعي عدم القدرة على التنبؤ إلى بيئات العمل الخاصة بهم، مما يؤدي في كثير من الحالات إلى ابتكارات واكتشافات ملحوظة. كما أن وكلاء الذكاء الاصطناعي سيتجاوزون بالتأكيد حدود أنظمة التفويض الحالية. لكن لا ينبغي أن يصبحوا وكلاء فوضى، يتسببون في الفوضى داخل مؤسستك. غالبًا ما تتحدى التقنيات الناشئة الممارسات الأمنية الحالية. نحن لا نعرف ما لا نعرفه - وهذا أمر مقبول. يمكن أن تكون المقارنة المناسبة هي الانتقال إلى الحوسبة السحابية خلال التطور التكنولوجي الأخير. غالبًا ما تتأخر الأمنيات عن الابتكار، ويتطلب الطريق إلى الأمام تحقيق توازن. يبدأ التبني المسؤول من خلال احتضان أفضل الممارسات الناشئة. لا يتعين على الوكلاء إحداث الفوضى، إذا قمنا ببناء أطر الحوكمة الصحيحة الآن.

كيف يمكن لفرق الأمان تقليل فوضى الذكاء الاصطناعي الوكيلي

ما هو جيد للبشر لا يعني أنه جيد للوكلاء

ها هم وكلاء الفوضى