لا تُدرج أداة ذكاء اصطناعي للمؤسسات في قائمتك المختصرة قبل اجتياز خمس بوابات للأدلة الأمني

اطلب أدلة تثبت أن الأداة يمكن أن تعمل ضمن حدود مؤسستك الخاصة بالبيانات والهوية والتكاملات والمراقبة. ويطرح NIST إدارة مخاطر الذكاء الاصطناعي بوصفها نشاطاً تكرارياً عبر دورة الحياة، يشمل الحوكمة والتحديد والقياس والإدارة، مع توثيق المساءلة والمراقبة وضوابط مخاطر الأطراف الثالثة.

عند إعداد القائمة المختصرة، لا تسأل عما إذا كان المورّد آمناً بوجه عام. اسأل إن كان الإصدار المحدد من المنتج، ونموذج النشر، والتكاملات المفعلة، وفئات المستخدمين المقترحة، تفي بمتطلبات ضوابطك. ولا ينبغي احتساب أي ضبط كدليل ما لم يكن متاحاً ومدعوماً تعاقدياً ومعداً وقابلاً للاختبار ضمن النطاق المقترح.

يجب أن تتوافق الأداة مع نموذج هوية المؤسسة، لا أن تعتمد على دعوات غير رسمية أو حسابات شخصية غير مُدارة. اطلب أدلة على المصادقة وتصميم الأدوار وإسناد المجموعات والتزويد بالحسابات وإلغائها وفصل المهام الإدارية.

توضح إرشادات الإدارة لمساحات عمل الذكاء الاصطناعي المؤسسية الأهمية التشغيلية للتحقق من النطاقات، وتسجيل الدخول الأحادي SSO، وSCIM، والتحكم بالوصول القائم على الأدوار، والمجموعات، وتسمية مالكي مساحة العمل قبل التوسع في ضم المستخدمين. وينبغي للمشترين اختبار الضوابط المكافئة في كل منتج مدرج في القائمة المختصرة.

ارسم خريطة للبيانات التي يمكن أن تدخل في المطالبات والملفات ومخازن الاسترجاع والموصلات والسجلات وقنوات الدعم وسير عمل التقييم. ثم اطلب أدلة مكتوبة ومحددة للمنتج بشأن الاحتفاظ بالبيانات واستخدامها في التدريب ومكان الإقامة والتشفير والحذف والتصدير والمعالجين الفرعيين ووصول المسؤولين، على أن تنطبق على الإصدار والإعداد المخططين.

يدعو NIST إلى فحص مخاطر الخصوصية وتوثيقها. وهذا يتطلب تدفقاً للبيانات خاصاً بحالة الاستخدام، وقاعدة قابلة للاختبار لكل فئة من البيانات، بما فيها معلومات الأعمال السرية والبيانات الشخصية والسجلات المنظمة والأسرار. ولا يحل بيان خصوصية عام محل هذا التحليل.

ترتفع مخاطر أداة الذكاء الاصطناعي بدرجة ملموسة عندما يمكنها قراءة محتوى المؤسسة أو استدعاء واجهات برمجة التطبيقات أو تنفيذ إجراءات في نظام آخر. وتحدد OWASP الوظائف والصلاحيات والاستقلالية المفرطة باعتبارها عوامل تسهم في الوكالة المفرطة. لذا يجب ألا تحصل الأداة إلا على الوظائف والنطاقات ومستوى الاستقلالية اللازم لحالة الاستخدام المحددة.

لا تمنح صلاحيات واسعة لصندوق بريد أو مخزن ملفات أو نظام أعمال لمجرد أن ذلك يسهّل العرض التوضيحي. اختبر النطاق الفعلي للموصل، وإمكان حصر الأداة في مستودعات أو إجراءات معتمدة، وما إذا كانت الإجراءات ذات الأثر تتطلب موافقة شخص.

تحتاج المؤسسة إلى سجلات قابلة للاستخدام في التحقيقات وفرض السياسات والتحسين. ويؤكد NIST أهمية التخطيط للمراقبة، وتحديد المسؤوليات، والتوثيق، والمراجعة المستمرة. والسؤال ليس مجرد وجود سجلات، بل قدرة الجهة المشترية على الوصول إلى السجلات ذات الصلة والاحتفاظ بها على النحو المناسب وربطها بعمليات الاستجابة للحوادث لديها.

في إثبات المفهوم، اعرض مسار التدقيق كاملاً، من الهوية والمدخلات مروراً بالاسترجاع واستجابة النموذج واستدعاء الأداة والموافقة، وصولاً إلى النتيجة في النظام اللاحق. وإذا فشل إجراء أو نتجت عنه مخرجات غير آمنة، فيجب أن تتمكن المؤسسة من تحديد المستخدم المتأثر ومصدر البيانات والإعداد ومسار التكامل.

يتضمن التقييم الأمني الموثوق القدرة على الاحتواء، لا الوقاية وحدها. ويوصي NIST باستخدام نتائج التقييم لاتخاذ قرار المضي في النشر، ومراقبة المخاطر والفوائد السلبية طوال دورة الحياة. لذلك ينبغي أن يشمل التصميم الأمني مساراً عملياً للإيقاف والتراجع والمراجعة.

اختبر مدى سرعة قدرة المؤسسة على تعطيل المستخدمين، وسحب موصل، وإزالة قدرة تنفيذ إجراء، وتعليق مساحة عمل، وتدوير الأسرار، وحفظ الأدلة. وستختلف الاستجابة المناسبة بحسب الأداة وحالة الاستخدام، لكن يجب الاتفاق على المالك المسؤول وسلطة اتخاذ القرار قبل الإطلاق.