سلّم المصنّعون بهدوء أنظمة الفحص بالذكاء الاصطناعي ونظيراتها سلطة اتخاذ قرارات مادية. لا يكاد أحد يختبر قابلية تلك الأنظمة للتلاعب، والهجوم الذي يهم فعلاً لن يبدو هجوماً على الإطلاق.
هناك سؤال بدأت أطرحه كلما تجولت في صالة إنتاج، وتوقفت عن انتظار إجابة واضحة عنه.
من اختبر نظام الرؤية؟
لا أقصد ما إذا كان يعمل. فالجميع يستطيع الإجابة عن ذلك، وغالباً برقم. نسبة الهالك انخفضت، ونسبة الإنتاج السليم من المرة الأولى ارتفعت، والخط يعمل أسرع مما كان عليه مع المفتشين البشر. ما أقصده هو: هل جلس أحد يوماً وحاول عمداً أن يجعله يعطي الإجابة الخاطئة؟
الرد عادة صمت قصير، تليه صيغة ما من عبارة «هذا نظام جهة التكامل». وهو كلام دقيق في الغالب، لكنه لا يحسم شيئاً في الحقيقة.
لا أعتقد أن هذا إهمال. أعتقد أنها فجوة انفتحت أسرع مما استطاعت أي عملية أن تتكيف معها، ومن المفيد أن نكون محددين في وصف تلك الفجوة.
ما الذي تغيّر في صالة الإنتاج
لفترة طويلة، كان الذكاء الاصطناعي يظهر في التصنيع بصفة مستشار. ينتج توقعاً أو توصية أو لوحة مؤشرات. وفي مكان ما بعد ذلك كان إنسان ينظر إلى تلك المخرجات ويقرر ما يفعله بها، ما يعني أن بشراً كان يقف بين النموذج والعاقبة. وإذا أخطأ النموذج، كانت هناك فرصة لالتقاط الخطأ.
كثير من المصانع تجاوز تلك المرحلة بمسافة، وأزعم أن التفكير الأمني لم يتحرك معها. الفحص البصري الآلي اليوم يقبل القطع ويرفضها دون أن يراجع أي إنسان القرار. نماذج الصيانة التنبؤية تحدد أي الأصول يخرج من الخدمة وأيها يستمر في العمل. تخطيط مسارات الروبوتات يتعدل لحظياً بناء على مدخلات المستشعرات. وأنظمة التحكم في العمليات تضبط المعاملات باستمرار.
هذه ليست أنظمة استشارية. إنها أنظمة قرار، وقراراتها تقع في العالم المادي.
ما أجده دالاً هو الطريقة التي وصلت بها إلى هناك. قلة قليلة منها دخلت عبر مراجعة أمنية. لقد جاءت عن طريق إدارات العمليات أو الجودة، أو مدمجة داخل حزمة تكامل من صانع الآلات، وقُيّمت كما تُقيّم أي عملية شراء لمعدات رأسمالية. هل تحقق مواصفة الدقة؟ ما زمن الدورة؟ ما التكلفة الإجمالية؟ كلها أسئلة معقولة، ولا واحد منها هو سؤال ما الذي يحدث حين يعمل شخص ما على التلاعب بالنظام عمداً.
النتيجة فئة من الأنظمة تقبع داخل معظم المصانع الحديثة، وتتخذ قرارات مؤثرة دون إشراف، ويمكن الوصول إليها عبر الشبكة، ولم يفحصها قط أحد يفكر فيها بعقلية الخصم.
نمط الفشل الذي لا يراقبه أحد
معظم النقاش الأمني في قطاع التصنيع يتمحور حول التوافر. برامج الفدية، والتوقف عن العمل، والدولارات عن كل ساعة إنتاج متوقفة. وأنا أفهم السبب. فهو قابل للقياس، ويستوعبه التنفيذيون في جملة واحدة، وقد حدث لشركات معروفة بما يكفي ليبدو ملموساً لا نظرياً.
لكن ميزة هجوم التوافر أنه يخبرك بحدوثه. يتوقف الخط، وتُقفل الشاشات، ويكون أحدهم على الهاتف خلال دقائق. إنه يوم سيئ، لكنك تعرف أنك تعيشه.
السيناريو الذي يشغل ذهني هو ذاك الذي لا يبدو فيه أن شيئاً تعطل. افترض أن أحدهم يستطيع أن يزحزح ما يعتبره نموذج الفحص لديك مقبولاً. يستمر الإنتاج بشكل طبيعي. تبدو المؤشرات سليمة، لأن الرقم على لوحة المؤشرات هو الرقم الذي يولّده النموذج، والنموذج من وجهة نظره كل شيء على ما يرام. تنتقل قطع معيبة إلى التجميعات، وتُشحن التجميعات، والآلية التي كانت ستكشف المشكلة في النهاية تعمل وفق جداول الضمان لا وفق جداول الأمن.
رأيت من يصف هذا بأنه اختراق بالحركة البطيئة، وأظن أن الوصف يخطئ قليلاً. فالقرارات السيئة ليست بطيئة على الإطلاق. إنها تحدث بسرعة الآلة، آلاف المرات، تماماً كما صُممت. البطيء هو الاكتشاف. وحين يصل الاكتشاف أخيراً، فأنت لا تدير حادثة أمنية. أنت تدير عملية استدعاء منتجات، وتعيد بناء سجلات إنتاج سنة أو أكثر لتعرف مدى انتشار المشكلة.
هذا اللاتماثل هو ما يجعلني أعتقد أن السلامة تستحق في هذا القطاع اهتماماً أكبر مما تناله. التوقف تعرفه فوراً وتتعافى منه وفق جدولك الخاص. أما القرارات الفاسدة فتعرفها متى شاء عملاؤك أن يخبروك بها.
ثلاث طرق يجري بها التلاعب بأنظمة الفحص بالذكاء الاصطناعي
هناك نسخة من هذا المقال تتحول إلى تصنيف للجهات المهاجمة والتقنيات، ولا أظن أن تلك النسخة تساعد أحداً على فعل شيء مختلف يوم الاثنين. لذا إليك المجالات الثلاثة التي أنظر فيها أولاً، بعبارات بسيطة.
حلقة إعادة التدريب مدخل من المداخل. كثير من نماذج الرؤية العاملة يعاد تدريبه على بيانات الإنتاج، ما يعني أن خط البيانات الذي يغذي إعادة التدريب هو نفسه سطح هجوم. أي شخص لديه وصول إلى عملية وسم البيانات، أو مخزن الصور، أو آلية التغذية الراجعة التي تحدد صحة القرار أو خطأه، يملك طريقاً لتحريك الحد الذي يرسمه النموذج. والنسخة الواقعية من هذا ليست تغييراً واحداً درامياً، لأن ذلك سينكشف بسرعة. إنها تغييرات تدريجية. لا يبدو النموذج معطلاً أبداً. إنه فقط يتعلم شيئاً خاطئاً قليلاً ثم ينفذه باتساق وبسرعة ودون شكوى.
المدخلات المادية يمكن صياغتها لخداع النموذج. هناك أدبيات بحثية وافرة تثبت أن نماذج الرؤية يمكن هزيمتها بتعديلات لا يلحظها المفتش البشري بوعي، ومنها تعديلات في العالم المادي: علامات على السطح، وطلاءات، وظروف إضاءة. حين تُقرأ كنتيجة أكاديمية فهي مثيرة للاهتمام. وحين تُترجم إلى خط إنتاج يملك فيه النموذج السلطة النهائية على القبول والرفض، تصبح وسيلة عملية لتمرير منتج غير مطابق، ولا أظن أن هذه الترجمة جرت على نطاق واسع بما يكفي.
لا أحد يستطيع أن يخبرك من أين جاء النموذج. هذه أقل النقاط الثلاث غرابة، وهي في خبرتي الأكثر شيوعاً بفارق كبير. معظم النماذج المنشورة لم تُطوّر داخلياً. جاءت من صانع آلات أو جهة تكامل أنظمة، ومبنية في الغالب على مكونات مدربة مسبقاً مصدرها مستودعات عامة. حين أسأل عن البيانات التي دُرّب عليها النموذج، أو عمن عدّله منذ التشغيل، أو عما إذا كانت النسخة العاملة حالياً هي النسخة التي جرى التحقق منها، أحصل عادة على هزة كتف صادقة. هذه مخاطر سلسلة توريد في صورة شبه نقية. إنها بنيوياً المشكلة نفسها الكامنة في تشغيل برمجيات ثابتة غير موقعة، والصناعة لا تتسامح مع البرمجيات الثابتة غير الموقعة.
لماذا هذه مشكلة جودة
الإطار الذي أعرضه على فريق قيادة أي مصنع هو أن هذا الملف يخص الجودة بقدر ما يخص تقنية المعلومات على الأقل. أعترف بأنني ما زلت أصقل طريقة عرض هذه الحجة، لكن جوهرها بسيط.
التصنيع يملك هذا الانضباط أصلاً، ويمارسه بصراحة أفضل من معظم الصناعات التي أعمل معها. لا أحد يضع أداة قياس في الخدمة دون معايرة. لا أحد يقبل شهادة مواد من مورد دون فحص عند الاستلام. لا أحد يغيّر عملية معتمدة دون توثيق وإعادة تأهيل. هذه الصرامة موجودة لأن الجميع يفهم ما يتحول إليه خطأ صغير غير مكتشف في أول السلسلة بعد أن يجد وقتاً للانتشار.
ثم يُركّب نموذج يحدد ما يُشحن، ولا ينطبق عليه شيء من ذلك الجهاز عملياً. لم يُعاير في مواجهة ظروف عدائية. مدخلاته لا تُفحص بحثاً عن تلاعب. وسلوكه عبر الزمن لا يُراقب رصداً لانحراف قد لا يكون عرضياً.
أقرأ ذلك بوصفه خطأ في التصنيف لا تقصيراً في العناية. فقد صُنفت هذه الأنظمة ذهنياً كمعدات إنتاج، لا كشيء له خصم، ولذلك لم تُوجَّه إليها قط منظومة الجودة التي كانت ستلتقط المشكلة.
وهناك سبب عملي أيضاً لهذا التأطير. فالأشخاص الذين يملكون معدلات العيوب لديهم بالفعل الحدس وسلطة الميزانية والمكانة داخل المؤسسة للتحرك في هذا الملف. وأن تقول لمدير جودة إن شيئاً في أول سلسلة مؤشراته غير متحقق منه، يحرّك الأمور عادة أسرع من الحديث عن جهات التهديد.
نقطة انطلاق عملية
إذا كان شيء من هذا يلامس واقعك، فالخطوة الأولى ليست شراء أداة. إنها بناء قائمة.
اكتب كل نظام في المنشأة يتخذ قراراً مستقلاً يمس المنتج أو العملية أو السلامة. معظم المؤسسات لا تستطيع إنتاج تلك القائمة من الذاكرة، وتجميعها في حد ذاته يميل إلى أن يكون كاشفاً، لأن الناس يستحضرون أشياء توقفوا عن التفكير فيها كصانعة قرار.
لكل بند، وثّق المنشأ وضبط التغيير. من أين جاء، وما المكونات التي تحته، ومن يملك القدرة على تعديله، وما الدليل على أن نسخة اليوم تطابق ما جرى التحقق منه عند التشغيل.
ثم اختبر هذه الأنظمة اختباراً عدائياً لا على الدقة وحدها. الأداء أمام مجموعة اختبار محجوزة يخبرك كيف يتصرف النموذج حين تكون الظروف طبيعية. لكنه يقول القليل جداً عن سلوكه حين يعمل أحدهم بنشاط على هزيمته، وهذان سؤالان مختلفان لهما جوابان مختلفان.
أخيراً، راقب توزيع القرارات، لا زمن التشغيل فقط. النموذج الذي تتغير نسبة قبوله بهدوء يقول لك شيئاً. وفي معظم المصانع لا أحد يستقبل تلك الإشارة، لأن القناة لم تُبنَ أصلاً.
الخلاصة
الهجوم الذي أقلق منه في التصنيع ليس ذاك الذي يوقف خطك. إنه ذاك الذي يترك الخط يعمل بينما ينتج شيئاً لم تكن لتشحنه عن علم أبداً.
لن تجده في نظام SIEM. ستجده في بيانات الضمان بعد ثمانية عشر شهراً، هذا إن وجدته أصلاً.
المؤشر الذي كان يمكن أن ينبهك مبكراً هو رقم يتداوله فريق الجودة لديك كل أسبوع. لكنه لا يُقرأ حتى الآن كرقم أمني، وأزعم أنه ينبغي أن يُقرأ كذلك.
الأسئلة الشائعة
هل يمكن حقاً التلاعب بأنظمة الفحص بالذكاء الاصطناعي؟
نعم. تشمل المسارات الموثقة تسميم بيانات إعادة التدريب بحيث يزحزح النموذج حدود القبول لديه ببطء، وصياغة مدخلات مادية تخدع النموذج بينما تجتاز نظرة الفاحص البشري، والعبث بنماذج طرف ثالث غير متحقق منها قبل وصولها إلى خط الإنتاج لديك. نتناول منهجية الاختبار الأوسع في دليلنا حول اختبار اختراق الذكاء الاصطناعي.
ما الفرق بين اختبار الدقة والاختبار العدائي؟
اختبار الدقة يقيس أداء النموذج أمام مجموعة اختبار محجوزة في ظروف طبيعية. أما الاختبار العدائي فيقيس سلوكه حين يعمل أحدهم عمداً على هزيمته: مدخلات متلاعب بها، أو بيانات مسممة، أو نموذج مستبدل. قد يحرز النظام نتيجة جيدة في الأول ويفشل فشلاً ذريعاً في الثاني، والثاني وحده هو ما يشبه الهجوم.
كيف أعرف ما إذا كانت أنظمة الذكاء الاصطناعي في مصنعي معرضة للخطر؟
ابدأ بجرد كل نظام يتخذ قراراً مستقلاً يمس المنتج أو العملية أو السلامة. ولكل نظام، اطرح ثلاثة أسئلة: هل يستطيع أحد إثبات مصدر النموذج، ومن يملك تغييره، وهل سيلاحظ أحد إذا تغيّر نمط قراراته. إذا كانت أي إجابة بالنفي، فذلك النظام سطح هجوم غير مختبر.
تجري SubRosa اختبارات عدائية على أنظمة الذكاء الاصطناعي والتعلم الآلي، بما فيها أنظمة الرؤية والقرار العاملة في بيئات الإنتاج. وإذا كنت تفكر في ما يعنيه هذا في منشأتك، فيسرنا أن نتحدث معك في الأمر.