ما الذي يجب أن تراه القيادات قبل توسيع تدفّقات الذكاء الاصطناعي؟
فريق نوفا
تبدو كثير من برامج الذكاء الاصطناعي مقنعة في العرض التجريبي، وهشّة في التشغيل الفعلي، للسبب نفسه تقريبًا: القيادة ترى المخرج النهائي، لكنها لا ترى الظروف التشغيلية التي أحاطت به. قد ترى ملخصًا أُنتج آليًا، أو حالةً جرى توجيهها، أو توصيةً صدرت، لكنها لا تعرف أيّ بيانات شكّلت النتيجة، وأيّ أدوات استُدعيت، وما الذي فشل بصمت، ومن الذي تجاوز المخرج أو أوقفه، وكم تتراكم الاستثناءات في الخلفية. وهذه ليست فجوة تقارير فحسب، بل فجوة ضبطٍ وسيطرة.
ومع انتقال تدفّقات الذكاء الاصطناعي من المساعدة في الصياغة إلى مساحاتٍ مثل الموافقات، ومعالجة الحالات، وعمليات العملاء، ودعم القرار الداخلي، تصبح الثقة أقل ارتباطًا ببلاغة المخرج، وأكثر ارتباطًا بوضوح ما يحدث أثناء التشغيل. قبل أن توسّع المؤسسة أي تدفّق ذكاء اصطناعي، يجب أن تستطيع الإجابة عن سؤال بسيط: إذا تصرّف هذا التدفّق بصورة سيئة غدًا، فكم من الوقت نحتاج لإعادة بناء ما حدث، وتحديد ما الذي يجب تغييره؟
الرؤية التشغيلية ليست رفاهية تقنية
يُقدَّم مفهوم الرصد التشغيلي أحيانًا كأنه شأن هندسي بحت، لكن المسألة الأهم هي مسألة حوكمة. فالمطلوب ليس فقط مراقبة ما إذا كان النظام يعمل، بل امتلاك القدرة التشغيلية على رؤية كيف يتصرّف تدفّق الذكاء الاصطناعي مع الزمن، وأين ينحرف، ومتى يتدخل البشر، وهل يبقى داخل الحدود التي أرادتها المؤسسة أصلًا.
وتنص مبادئ OECD للذكاء الاصطناعي على أن الجهات الفاعلة في الذكاء الاصطناعي يجب أن تكون مسؤولة عن حسن عمل الأنظمة بحسب دورها والسياق، وأن تضمن قابلية التتبّع فيما يخص البيانات والعمليات والقرارات عبر دورة الحياة. أهمية هذا الطرح أنه يُخرج الرؤية من زاوية تصحيح الأخطاء التقنية إلى زاوية المساءلة المؤسسية. فإذا تعذّر تتبّع القرارات والإجراءات الأساسية، أصبحت الرقابة المسؤولة أقرب إلى الشعار منها إلى الممارسة.
ويقول دليل NIST التطبيقي لإطار إدارة مخاطر الذكاء الاصطناعي الشيء نفسه بلغة تشغيلية أوضح. فهو يدعو إلى تعريف أدوار البشر ومسؤولياتهم بوضوح، وتوثيق المستوى المناسب من التدخل البشري، وتجهيز الأنظمة بسجلاتٍ وتواريخ تشغيل يمكن الرجوع إليها. كما يوصي بالاحتفاظ بإحصاءات عن حالات التجاوز، والأخطاء المبلَّغ عنها، والشكاوى، وأنشطة الفصل والمراجعة، واستثناءات السياسات. أي إن الإشراف الجاد لا يعني جمع السجلات فقط، بل جمع أدلة تمكّن من المراجعة والتدخل والتحسين.
ما الذي تُسيء الفرق فهمه عادةً؟
أحد أكثر أوجه الالتباس شيوعًا هو التعامل مع الرصد التشغيلي للذكاء الاصطناعي كأنه نسخة أكثر تفصيلًا من مراقبة التوافر أو زمن الاستجابة. لكن تدفّق الذكاء الاصطناعي قد يكون متاحًا تقنيًا، ومع ذلك يظل غير جدير بالثقة تشغيليًا. قد يعمل في موعده، ويستدعي الواجهات البرمجية كما ينبغي، ثم يقدّم توصيات ضعيفة، أو يوجّه العمل إلى المسار الخطأ، أو يدفع الموظفين إلى الاعتماد على مخرجات كان ينبغي التشكيك فيها.
والالتباس الثاني هو الظنّ أن السجلات الخام تكفي. هي لا تكفي. كثرة السجلات لا تعني وضوحًا إداريًا. ما تحتاجه القيادة هو عدد محدود من الإشارات التي تشرح إن كان التدفّق ما يزال قابلاً للحكم: أين ترتفع الاستثناءات؟ أيّ خطوة يجري تجاوزها باستمرار؟ هل تحوّلت المراجعة البشرية إلى إجراء شكلي؟ وهل تصحّح الفرق اللاحقة نمط الفشل نفسه مرةً بعد أخرى؟
ولهذا أيضًا لا ينبغي اختزال الرؤية في فحص مخرجات النموذج وحدها. ففي البيئات المؤسسية، تكمن المخاطر غالبًا في سير العمل المحيط بالنموذج: الأدوات التي يمكنه استدعاؤها، والصلاحيات التي يعمل بها، ونقاط التسليم بين الفرق، والقواعد التي تُطلق التصعيد، والأدلة التي تبقى متاحة عند التدقيق أو التحقيق في حادثة. فالمخرج الجميل داخل عمليةٍ معتمة يظل جزءًا من عملية معتمة.
ما الذي يجب أن تراه القيادة فعلاً؟
قبل توسيع أي تدفّق ذكاء اصطناعي، ينبغي أن تتمكن القيادة من رؤية خمس فئات من الأدلة على الأقل.
- سياق التدفّق: ما المهمة التي كان النظام ينفذها؟ وما نوع الحالة أو القاعدة التجارية التي انطبقت؟ وما الحدود التي كانت سارية وقت التنفيذ؟
- أفعال النظام: ما الأدوات أو مصادر البيانات أو التطبيقات المتصلة التي استُخدمت؟ وهل فشلت أي خطوة أو أُعيدت محاولتها أو جرى تجاوزها؟
- التدخل البشري: من راجع؟ ومن تجاوز؟ ومن صعّد؟ ومن أوقف؟ وكم يتكرر ذلك بحسب نوع التدفّق؟
- أنماط الخطأ والاستثناء: ما أنواع الشكاوى أو الانحرافات أو التصحيحات المتكررة التي تظهر بعد التشغيل؟
- أدلة القرار: ما الذي يبقى متاحًا لاحقًا إذا احتاجت المؤسسة إلى التحقيق في حادثة، أو الإجابة عن سؤال تدقيقي، أو إعادة تصميم حدود التدفّق؟
وهنا يفيد دليل NIST تحديدًا لأنه يتجاوز اللغة العامة عن الشفافية. ففي إرشادات القياس، يدعو إلى الاحتفاظ بالتواريخ والسجلات، وإحصاءات عن التجاوزات اللاحقة، والأخطاء والشكاوى المبلّغ عنها، وأنشطة الفصل والمراجعة، وقرارات الموافقة أو عدمها من الأطراف المسؤولة. وهذا أقرب إلى قائمة مراجعة تنفيذية عملية منه إلى أمنية تقنية للمطوّرين.
لماذا أصبح هذا مهمًا الآن؟
لم تعد تدفّقات الذكاء الاصطناعي الحالية مقتصرة على كتابة نصوص أو تلخيص مستندات. فهي تصنّف، وتوجّه، وتقارن، وتوصي، وتُطلق أفعالًا داخل عملياتٍ تشغيلية حقيقية. ومع هذا التحول ترتفع كلفة ضعف الرؤية. فحين تغيب الرؤية التشغيلية، تكتشف المؤسسة المشكلات متأخرة، وتحتاج وقتًا أطول لتشخيصها، وتدخل في جدلٍ حول الملكية والمسؤولية حين يصبح التدخل ضروريًا.
وتسير الأطر الرسمية في الاتجاه نفسه. فـقانون الذكاء الاصطناعي الأوروبي يفرض، في الأحكام الخاصة بالأنظمة عالية المخاطر، قدراتٍ على تسجيل الأحداث آليًا طوال عمر النظام، كما يفرض تدابير إشراف بشري تمكّن الأشخاص الطبيعيين من كشف الشذوذ، وتجنّب الإفراط في الاعتماد على المخرجات، وتجاوز النظام أو إيقافه عند الحاجة. وهذه الالتزامات لا تنطبق على كل استخدام للذكاء الاصطناعي، لكن دلالتها التنظيمية واضحة: في السياقات الأكثر حساسية، لم تعد الرؤية وإمكان التدخل مجرد تحسينات تصميمية، بل جزءًا من نموذج السيطرة نفسه.
وحتى خارج الفئات التنظيمية عالية المخاطر، يبقى الدرس الإداري قائمًا: إذا لم تستطع المؤسسة أن ترى كيف يتصرّف تدفّق الذكاء الاصطناعي في الظروف الحقيقية، فستعجز عن توسيعه بصورة مسؤولة.
بطاقة رصد عملية للقيادة
في المراجعة التنفيذية، تكون الأسئلة الأكثر فائدة غالبًا تشغيلية أكثر منها تقنية.
- أيّ التدفّقات تسجّل أعلى معدلٍ للتجاوز البشري؟ وهل يتحسن هذا المعدل أم يسوء؟
- أين يعكس المراجعون البشريون مخرجات النظام أكثر من غيره؟
- أيّ خطوات تولّد شكاوى أو إعادة عمل أو تصعيدًا متكررًا؟
- كم يستغرق الفريق لإعادة بناء مخرجٍ مشكوك فيه بعد الإبلاغ عن حادثة؟
- أيّ التدفّقات الحرجة ما تزال تفتقر إلى أدلة كافية للتحقيق الجذري أو للتدقيق؟
هذه الأسئلة ترتبط مباشرة بقرارات الحوكمة. فهي تكشف أين تحتاج المؤسسة إلى حدود موافقةٍ أشد، أو أدوار مراجعة بشرية أوضح، أو قواعد بديلة أقوى، أو نطاق إنتاج أضيق.
بداية عملية مفيدة
البداية الأفضل ليست شراء لوحة معلومات جديدة. البداية الأفضل هي اختيار تدفّقٍ واحد حيّ، ثم سؤال بسيط: ماذا يستطيع المراجع أن يرى فعليًا إذا انتهى هذا التدفّق إلى نتيجة سيئة؟ ارسم نقطة الانطلاق، ومصادر البيانات المستخدمة، والأفعال المتصلة، ونقاط التدخل البشري، والسجلات المتاحة، ومسار التجاوز، والأدلة المحتفَظ بها. ثم اختبر حادثةً حديثة أو افتراضية. إذا لم يستطع الفريق إعادة بناء التسلسل بثقة خلال وقت مراجعة قصير، فهذا التدفّق ليس جاهزًا بعد للتوسع.
وغالبًا ما يكشف هذا التمرين الخطوة التالية بوضوح أكبر من أي سياسة عامة جديدة. فهو يبيّن ما إذا كانت الفجوة الحقيقية في نقص السجلات، أو في ضعف معالجة الاستثناءات، أو في غموض الملكية، أو في تصميم التصعيد، أو في حدودٍ منحت النظام مساحة تقدير أوسع مما ينبغي.
الرؤية لا تُغني عن الحكم
الرؤية التشغيلية الأفضل لا تضمن تلقائيًا جودة تدفّق الذكاء الاصطناعي. فهي لا تصلح مهمةً سيئة التصميم، ولا بياناتٍ ضعيفة، ولا نموذج حوكمة لا يبحث عن المسؤولية إلا بعد وقوع المشكلة. لكنها تجعل هذه الضعفات مرئية في وقتٍ يسمح للقيادة بالتدخل.
ومن منظور NOVA، الفكرة بسيطة: تشغيل الذكاء الاصطناعي بصورة جديرة بالثقة يحتاج أكثر من نوايا حسنة ومخرجات مقنعة. يحتاج إلى قدرة على رؤية السلوك، والتدخل، والأدلة عبر الزمن. فإذا لم تستطع القيادة أن ترى كيف يتصرّف التدفّق في ظروفه الحقيقية، فهي لا توسّع نظامًا مضبوطًا بعد، بل توسّع مساحةً من عدم اليقين.
ولقراءات مرتبطة بهذا الموضوع، راجع قبل أن تثق في تدفّق ذكاء اصطناعي، احسم سؤال: من يملك الأدلة؟ وأين يجب أن ينتهي الضبط الحتمي… وأين يجب أن يبدأ حكم الذكاء الاصطناعي؟.