الثقة في الذكاء الاصطناعي الوكالي: أهمية بنية التقييم أولاً

مع دخول الوكلاء الذكائيين إلى النشر في العالم الحقيقي، تواجه المؤسسات ضغطاً لتعريف مكانهم، وكيفية بنائهم بفعالية، وكيفية تشغيلهم على نطاق واسع. في حدث Transform 2025 من VentureBeat، اجتمع قادة التكنولوجيا للحديث عن كيفية تحويل أعمالهم باستخدام الوكلاء: جوان تشين، الشريك العام في Foundation Capital؛ شايليش نالاوادى، نائب رئيس إدارة المشاريع في Sendbird؛ ثيس واندرز، نائب رئيس التحول الذكائي في Cognigy؛ وشون مالهوتر، المدير الفني لشركة Rocket Companies.

Thys Waanders, Shailesh Nalawadi, Shawn Malhotra, Joanne Chen,

بعض الاستخدامات الرئيسية للذكاء الاصطناعي الوكالي

قال نالاوادى: "الجاذبية الأولية لأي من هذه النشرات لوكلاء الذكاء الاصطناعي تميل إلى أن تكون حول توفير رأس المال البشري - الرياضيات واضحة جداً". ومع ذلك، فإن ذلك يقلل من القدرة التحويلية التي تحصل عليها مع وكلاء الذكاء الاصطناعي.

في شركة Rocket، أثبت وكلاء الذكاء الاصطناعي أنهم أدوات قوية في زيادة تحويلات الموقع الإلكتروني.

قال مالهوتر: "لقد وجدنا أنه مع تجربتنا المعتمدة على الوكلاء، فإن التجربة التفاعلية على الموقع تجعل العملاء أكثر عرضة ثلاث مرات للتحويل عند دخولهم من خلال تلك القناة".

لكن هذا مجرد بداية. على سبيل المثال، قام مهندس في Rocket ببناء وكيل في يومين فقط لأتمتة مهمة متخصصة للغاية: حساب ضرائب النقل أثناء تقييم الرهن العقاري.

قال مالهوتر: "تلك الجهود التي استغرقت يومين وفرت لنا مليون دولار في السنة من النفقات". في عام 2024، أنقذنا أكثر من مليون ساعة من أعضاء الفريق، معظمها بفضل حلول الذكاء الاصطناعي لدينا. هذا ليس مجرد توفير للنفقات. إنه أيضاً يسمح لأعضاء فريقنا بتركيز وقتهم على الأشخاص الذين يقومون بما غالباً ما يكون أكبر معاملة مالية في حياتهم.

تعمل الوكلاء على تعزيز أعضاء الفريق الفرديين. تلك المليون ساعة الموفرة ليست كل وظيفة شخص ما مكررة عدة مرات. إنها أجزاء من الوظيفة التي لا يستمتع بها الموظفون، أو لم تضف قيمة للعميل. وتوفر تلك المليون ساعة لـ Rocket القدرة على التعامل مع المزيد من الأعمال.

قال مالهوتر: "تمكن بعض أعضاء فريقنا من التعامل مع 50% من العملاء أكثر من العام السابق". "هذا يعني أنه يمكننا زيادة الإنتاجية، وزيادة الأعمال، ومرة أخرى، نرى معدلات تحويل أعلى لأنهم يقضون الوقت في فهم احتياجات العميل بدلاً من القيام بالكثير من الأعمال الروتينية التي يمكن أن يقوم بها الذكاء الاصطناعي الآن".

التعامل مع تعقيد الوكلاء

قال نالاوادى: "جزء من الرحلة لفرق الهندسة لدينا هو الانتقال من عقلية هندسة البرمجيات - كتابة مرة واحدة واختبارها وتشغيلها وإعطاء نفس الإجابة 1000 مرة - إلى النهج الأكثر احتمالية، حيث تسأل نفس الشيء من نموذج LLM ويعطي إجابات مختلفة من خلال بعض الاحتمالات". لقد كان الكثير من ذلك هو إحضار الناس إلى المسار. ليس فقط مهندسي البرمجيات، ولكن مديري المنتجات ومصممي تجربة المستخدم.

ما ساعد هو أن نماذج LLM قد قطعت شوطاً طويلاً، قال واندرز. إذا بنوا شيئاً قبل 18 شهراً أو عامين، كان عليهم حقاً اختيار النموذج الصحيح، أو لن يؤدي الوكيل كما هو متوقع. الآن، يقول، نحن في مرحلة حيث تتصرف معظم النماذج السائدة بشكل جيد جداً. إنها أكثر قابلية للتنبؤ. ولكن اليوم التحدي هو دمج النماذج، وضمان الاستجابة، وتنظيم النماذج الصحيحة في التسلسل الصحيح ودمج البيانات الصحيحة.

قال واندرز: "لدينا عملاء يدفعون عشرات الملايين من المحادثات سنوياً". "إذا قمت بأتمتة، على سبيل المثال، 30 مليون محادثة في السنة، كيف يمكن أن يتوسع ذلك في عالم LLM؟ تلك كلها أشياء كان علينا اكتشافها، أشياء بسيطة، حتى الحصول على توفر النموذج مع مزودي السحابة. وجود حصة كافية مع نموذج ChatGPT، على سبيل المثال. كل تلك دروس كان علينا المرور بها، وعملائنا أيضاً. إنها عالم جديد تماماً".

طبقة فوق تنظيم LLM هي تنظيم شبكة من الوكلاء، قال مالهوتر. تجربة المحادثة لديها شبكة من الوكلاء تحت السطح، والمُنظم يقرر أي وكيل يجب أن يرسل الطلب إليه من المتاحين.

قال: "إذا قمت بتطوير ذلك في المستقبل وتفكر في وجود مئات أو آلاف من الوكلاء القادرين على القيام بأشياء مختلفة، فإنك تحصل على بعض المشاكل التقنية المثيرة للاهتمام". "إنها تصبح مشكلة أكبر، لأن زمن الاستجابة والوقت مهمان. سيكون توجيه الوكيل مشكلة مثيرة للاهتمام لحلها خلال السنوات القادمة".

الاستفادة من علاقات البائعين

حتى هذه النقطة، كانت الخطوة الأولى لمعظم الشركات التي تطلق الذكاء الاصطناعي الوكالي هي البناء داخلياً، لأن الأدوات المتخصصة لم تكن موجودة بعد. لكن لا يمكنك التمييز وخلق قيمة من خلال بناء بنية تحتية عامة للـ LLM أو بنية تحتية للذكاء الاصطناعي، وتحتاج إلى خبرة متخصصة لتجاوز البناء الأولي، وتصحيح الأخطاء، والتكرار، والتحسين على ما تم بناؤه، بالإضافة إلى صيانة البنية التحتية.

قال نالاوادى: "غالباً ما نجد أن أكثر المحادثات نجاحاً التي نجريها مع العملاء المحتملين تميل إلى أن تكون مع شخص قد بنى شيئاً داخلياً بالفعل". "يدركون بسرعة أن الوصول إلى 1.0 أمر مقبول، ولكن مع تطور العالم وتطور البنية التحتية، وحاجتهم لتبديل التكنولوجيا لشيء جديد، ليس لديهم القدرة على تنظيم كل هذه الأشياء".

الاستعداد لتعقيد الذكاء الاصطناعي الوكالي

نظرًا لأن الذكاء الاصطناعي الوكالي سيزداد تعقيداً - سيزداد عدد الوكلاء في منظمة، وسيبدأون في التعلم من بعضهم البعض، وسيزداد عدد حالات الاستخدام. كيف يمكن للمؤسسات الاستعداد للتحدي؟

قال مالهوتر: "هذا يعني أن الضوابط والتوازنات في نظامك ستتعرض لضغوط أكبر". "بالنسبة لشيء له عملية تنظيمية، لديك إنسان في الحلقة للتأكد من أن شخصًا ما يوقع على ذلك. بالنسبة للعمليات الداخلية الحرجة أو الوصول إلى البيانات، هل لديك قابلية للرؤية؟ هل لديك التنبيه والمراقبة الصحيحة حتى إذا حدث شيء خاطئ، تعرف أنه يحدث؟ إنه مضاعفة التركيز على اكتشافك، وفهم المكان الذي تحتاج فيه إلى إنسان في الحلقة، ثم الثقة في أن تلك العمليات ستلتقط إذا حدث شيء خاطئ. ولكن بسبب القوة التي تفتحها، عليك القيام بذلك."

فكيف يمكنك أن تكون واثقاً من أن وكيل الذكاء الاصطناعي سيتصرف بشكل موثوق مع تطوره؟

قال نالاوادى: "هذا الجزء صعب حقاً إذا لم تفكر فيه من البداية". "الإجابة القصيرة هي، قبل أن تبدأ في بنائه، يجب أن يكون لديك بنية تحتية للتقييم في مكانها. تأكد من أن لديك بيئة صارمة تعرف فيها ما هو الجيد، من وكيل الذكاء الاصطناعي، وأن لديك مجموعة اختبار. استمر في الرجوع إليها أثناء إجراء التحسينات. طريقة بسيطة جداً للتفكير في التقييم هي أنها اختبارات الوحدة لنظامك الوكالي."

المشكلة هي، أنها غير حتمية، أضاف واندرز. اختبار الوحدة أمر حاسم، ولكن التحدي الأكبر هو أنك لا تعرف ما لا تعرفه - ما هي السلوكيات غير الصحيحة التي قد يظهرها الوكيل، وكيف قد يتفاعل في أي موقف معين.

قال واندرز: "يمكنك فقط اكتشاف ذلك من خلال محاكاة المحادثات على نطاق واسع، من خلال دفعها تحت آلاف السيناريوهات المختلفة، ثم تحليل كيف تصمد وكيف تتفاعل".