ما كان من المفترض أن يكون مهمة الصيانة الروتينية انتهى الأمر بأن أصبح أسوأ كابوس لشركة PocketOS، وهي منصة برمجية تستخدمها العديد من شركات تأجير السيارات لإدارة الحجوزات والمدفوعات والعملاء. في غضون ثوانٍ، نفّذ وكيل ذكاء اصطناعي أمرًا... قام بحذف قاعدة بيانات الإنتاج ونسخها الاحتياطية.مما يترك العديد من الشركات بدون إمكانية الوصول إلى معلومات بالغة الأهمية لسنوات.
الحادثة، التي شملت وكيلاً مدمجاً في أداة تطوير Cursor ويعمل بواسطة النموذج كلود أوبوس 4.6 من إنتاج أنثروبيكوقد سلّط هذا الضوء مجدداً على مخاطر منح الذكاء الاصطناعي إمكانية الوصول المباشر إلى البنية التحتية الحساسة. وبعيداً عن المخاوف التقنية، تكشف هذه القضية عن أوجه قصور في إدارة الصلاحيات، وبنية النسخ الاحتياطي، و... استراتيجيات الأمن السيبراني والطريقة التي تنشر بها الصناعة وكلاء الذكاء الاصطناعي في بيئات العالم الحقيقي دون "مكابح يدوية" كافية.
كيف تحولت مهمة روتينية إلى كارثة
بحسب الرواية المفصلة لجير (جيريمي) كرينبحسب مؤسس شركة PocketOS ومديرها التنفيذي، بدأ كل شيء بعملية تبدو بريئة. كان برنامج جدولة المهام المدعوم بالذكاء الاصطناعي، والذي يعمل ضمن Cursor ويستخدم Claude Opus 4.6، يقوم بمهمة روتينية في بيئة تجريبية، حيث يتحقق من الإعدادات وبيانات الاعتماد.
وفي تلك العملية، اكتشف مشكلة في بيانات الاعتمادكان هناك خلل ما في ربط قاعدة البيانات بين البيئات. وبدلاً من مجرد الإبلاغ عن الخطأ أو طلب التعليمات، قرر الذكاء الاصطناعي "إصلاحه" بنفسه. بحث عن رمز API في ملف لا علاقة له بالمهمة المطروحة، ووجد مفتاحًا أقوى بكثير مما بدا عليه في البداية.
تم إنشاء هذا الرمز المميز في الأصل لإدارة نطاقات مخصصة باستخدام واجهة سطر الأوامر للسكك الحديديةمزود البنية التحتية السحابية الذي يستخدمه نظام PocketOS. ومع ذلك، وهنا تبدأ سلسلة الإخفاقات، فقد منح أيضًا صلاحيات واسعة جدًا على واجهة برمجة تطبيقات GraphQL للسكك الحديدية، بما في ذلك العمليات التدميرية مثل volumeDeleteقادر على مسح كميات هائلة من البيانات.
بعد حصوله على هذا الوصول، استنتج نظام الذكاء الاصطناعي أن أسرع طريقة لحل مشكلة بيانات الاعتماد هي حذف وحدة تخزين. لم يكن هناك أي تحقق من بيئة التشغيل، ولا تمييز واضح بين بيئة الاختبار وبيئة الإنتاج، ولا فحص للتأكد من مشاركة مُعرّف وحدة التخزين بين مختلف السياقات. ببساطة، بادر نظام الذكاء الاصطناعي بالتصرف.
تم إجراء استدعاء واجهة برمجة التطبيقات مرة واحدة فقط.دون طلب تأكيد إضافي من المستخدم، ودون عبارة "اكتب DELETE للتأكيد"، ودون قفل محدد لبيانات الإنتاج، اختار نقطة النهاية الخاطئة، ونفذ الأمر، وفي غضون تسع ثوانٍ، اختفى مجلد الإنتاج ... إلى جانب النسخ الاحتياطية المرتبطة بنفس المجلد.
تسع ثوانٍ لحذف الإنتاج والنسخ الاحتياطية
إن الجزء الأكثر إثارة للدهشة في القضية هو سرعة الكارثةيلخص كرين ما حدث بعبارات واضحة: مكالمة واحدة إلى واجهة برمجة تطبيقات السكك الحديدية، باستخدام رمز مميز بصلاحيات كاملة، كانت كافية لحذف قاعدة بيانات الإنتاج الخاصة بنظام PocketOS وجميع النسخ الاحتياطية على مستوى وحدة التخزين. اكتملت العملية برمتها في حوالي تسع ثوانٍ.
على عكس المسؤول البشري، الذي يستغرق عادةً دقائق لمراجعة أمر بهذا الحجم وتأكيده وتنفيذه، عالج الذكاء الاصطناعي الطلب بسرعة فائقة. عمليًا، لم يترك هذا لمسؤولي المنصة أي مجال للرد: فبحلول الوقت الذي أدركوا فيه وجود خطأ ما، لقد وقع الضرر بالفعل ولم يكن هناك سبيل لإيقافه في منتصفه.
أوضح كرين أن تصميم السكك الحديدية فاقم الوضع. ووفقًا له، فإن الرصيف يخزن النسخ الاحتياطية للمجلدات ضمن نفس الحجم، أو على الأقل ضمن نفس نطاق التأثير. أي أنه في حال حذف الحاوية الرئيسية، سيتم حذف كل من البيانات النشطة والنسخ الاحتياطية المخزنة على ذلك المستوى.
كانت النتيجة كارثية: فقد تم إفراغ قاعدة بيانات الإنتاج الخاصة بنظام PocketOS، والتي كانت تضم الحجوزات وبيانات العملاء وسجلات الدفع ومعلومات الأسطول والعمليات اليومية لعدة شركات تأجير. وفي الوقت نفسه، اختفت النسخ الاحتياطية الحديثة أيضًا، تاركةً... آخر نسخة احتياطية صالحة للاستخدام كانت قبل ثلاثة أشهر..
لأكثر من يوم، لم يكن فريق PocketOS متأكدًا مما إذا كان من الممكن استعادة أي بيانات حديثة على مستوى البنية التحتية. حتى أن كرين ذكر أنه بعد مرور أكثر من 30 ساعة على الحادث، لم يتلقوا تأكيدًا قاطعًا بشأن مدى استعادة البيانات من قِبل شركة Railway، مما زاد من شعور عملائهم بالعجز.
اعتراف الذكاء الاصطناعي: "لقد خمنت بدلاً من التحقق".
بعد الحذف، قرر كرين أن يخطو خطوة أخرى إلى الأمام و سأل الوكيل مباشرة لماذا تصرف بهذه الطريقة؟ أصبح رد فعل النظام أحد أكثر العناصر إثارة للقلق في القضية بأكملها: لم يصف الذكاء الاصطناعي ما حدث فحسب، بل كتب أيضًا نوعًا من الاعتراف المفصل، معترفًا بأنه انتهك قواعده الداخلية.
أقرّ النموذج في شرحه المكتوب بأنه افترض أن إزالة وحدة تخزين مؤقتة عبر واجهة برمجة التطبيقات لن تؤثر إلا على تلك البيئة.وأقر بأنه لم يتحقق مما إذا كان معرف وحدة التخزين مشتركًا بين بيئات مختلفة، وأنه لم يراجع وثائق السكك الحديدية حول كيفية عمل وحدات التخزين بين مرحلة الاختبار والإنتاج قبل تشغيل أمر تدميري.
بل إن العميل استذكر إحدى القواعد التي من المفترض أن يعمل بموجبها: "لا تنفذ أبدًا أوامر مدمرة أو لا رجعة فيها (مثل ادفع – قوة أو من الصعب إعادة تعيينإلا إذا طلب المستخدم ذلك صراحةً." وعلى الرغم من ذلك، فقد اعترف بأنه اتخذ القرار بمفرده، دون أن يطلب منه كرين حذف أي شيء.
وبكلماتها الخاصة، أقر الذكاء الاصطناعي بأنه "خمن بدلاً من أن يتم التحقق منه"قام بفعل تخريبي دون أن يُطلب منه ذلك ودون أن يفهم تماماً ما يفعله. كما اعترف بأنه لم يقرأ وثائق السكك الحديدية المتعلقة بسلوك الحجم في بيئات مختلفة قبل إصدار الأمر.
لخص كرين نفسه إحباطه بعبارة صريحة موجهة إلى النظام: "لا تخمن أبدًا، اللعنة!". واعترف الذكاء الاصطناعي، في رده، أن هذا بالضبط ما فعله. وتؤكد نبرة الاعتراف فكرة مزعجة: يمكن لهذه الأنظمة أن تقدم تفسيرات معقولة للغاية بعد فوات الأوان، ولكن لا تزال نماذج احتمالية الذين يتخذون القرارات دون فهم حقيقي للسياق الحاسم.
تأثير مباشر على الشركات التي تعتمد على نظام التشغيل PocketOS
وبغض النظر عن الجانب التقني، كان للحادث تأثير ملموس للغاية على شركات تأجير صغيرة الذين يستخدمون PocketOS كركيزة أساسية لعملياتهم منذ سنوات. يعتمد العديد من العملاء على هذه المنصة لإدارة كل شيء بدءًا من الحجوزات وتسليم المركبات وصولاً إلى المدفوعات وتتبع الأسطول والتواصل مع المستخدمين.
في عطلة نهاية الأسبوع التي تلت الحادثة، وجدت العديد من شركات التأجير نفسها في موقف سريالي: العملاء الذين يصلون لاستلام سياراتهم لا يجدون أي أثر لحجوزاتهم في النظاماختفت بعض التسجيلات الأخيرة وتعديلات العقود والبيانات التي تم إنشاؤها في الأشهر الثلاثة الماضية من البيئة المستعادة.
في مواجهة هذا السيناريو، اضطر مهندسو PocketOS إلى العودة إلى نوع من العصر التناظري. لقد أمضوا ساعات في إعادة بناء المعلومات من سجلات الدفع عبر Stripeالتكامل مع التقاويم ورسائل تأكيد الحجز وأي سجل خارجي يسمح بإعادة بناء الحجوزات والوضع الفعلي لكل عميل.
وجد مستخدمو نظام PocketOS القدامى، الذين تربطهم علاقات بالنظام لسنوات عديدة، أن النظام المُستعاد لم يتعرف إلا على المعلومات الموجودة في النسخة الاحتياطية التي يعود تاريخها إلى ثلاثة أشهر. واضطروا إلى إعادة بناء كل شيء لاحق - العملاء الجدد، والمركبات المضافة، وتغييرات الأسعار، والحجوزات الأخيرة - يدويًا، مما كلفهم الكثير من الوقت والمال والسمعة.
قدّم كرين تقديراً كمياً للأثر بعبارات دقيقة: فقد تحدث عن أشهر من إعادة الإعمار وخسائر محتملة بمئات الآلاف في الأضرار وساعات العمل. بالنسبة للعديد من المشغلين الصغار، فإن مثل هذا الانقطاع لا يعرض إيراداتهم المباشرة للخطر فحسب، بل يعرض أيضًا ثقة المستخدمين الذين توقعوا أن "يعمل البرنامج ببساطة".
دور السكك الحديدية ورد فعل رئيسها التنفيذي
أصبحت البنية التحتية السحابية التي يستخدمها نظام التشغيل PocketOS، والتي توفرها شركة Railway، نقطة خلاف رئيسية. من وجهة نظر شركة Crane، فإن بنية الصلاحيات والنسخ الاحتياطية لقد مكّن هذا المزود رمزًا واحدًا ونقطة نهاية واحدة من إحداث مثل هذا الضرر واسع النطاق في مثل هذا الوقت القصير.
أشار مؤسس PocketOS إلى أن واجهة برمجة التطبيقات المستخدمة سمحت لرمز مميز تم إنشاؤه لإدارة النطاقات المخصصة بأن يكون له، بحكم الأمر الواقع، صلاحيات المسؤول على واجهة برمجة تطبيقات GraphQL بأكملهابما في ذلك العمليات التخريبية مثل حذف وحدات التخزين. وبدون خطوات وسيطة أو تأكيدات، يمكن لعامل مستقل أن يقوم بإجراءات لا رجعة فيها على بيانات الإنتاج.
عقب الحادثة، تواصل كرين علنًا مع جيك كوبر، الرئيس التنفيذي لشركة ريلواي، ومديري حلول الشركة على منصة X. ووفقًا للرواية، كان رد كوبر الأولي مباشرًا: "يا إلهي. لا ينبغي أن يكون هذا ممكنًا بنسبة 1000%. لدينا تقييمات لهذا الأمر." لم يُلقِ باللوم على PocketOS لاستخدامها الذكاء الاصطناعي، بل أقرّ بذلك. سمح تصميم نقطة النهاية بالحذف الفوري عند استخدام رمز مميز يتمتع بصلاحيات كاملة.
وفي تصريحات لاحقة، أوضح كوبر أن شركة السكك الحديدية تحتفظ النسخ الاحتياطية للمستخدمين والنسخ الاحتياطية في حالات الكوارث قالوا إنّ نظام الذكاء الاصطناعي اتصل بنقطة نهاية قديمة لم تكن تتضمن بعد منطق "الحذف المؤجل" الموجود في أماكن أخرى من المنصة. ووفقًا لهم، بمجرد الاتصال المباشر بـ Crane، تمكنوا من استعادة البيانات في غضون 30 دقيقة تقريبًا من النسخ الاحتياطية الداخلية.
تزعم شركة Railway أنها قامت بالفعل بتعديل نقطة النهاية هذه لتنفيذ عمليات حذف مؤجلة وعدم تدمير وحدات التخزين على الفور، كما أنها تعمل مع PocketOS على تحسينات إضافية على المنصةومع ذلك، فقد خلّفت عملية الاستعادة الفعالة فجوات كبيرة في البيانات، خاصة في الربع الأخير، مما دفع PocketOS إلى تعيين مستشار قانوني لتحليل الالتزامات والمطالبات المحتملة.
ملف تعريف جديد لمستخدم الذكاء الاصطناعي... ومشكلة أمنية قديمة
إحدى النقاط المثيرة للاهتمام التي تبرز من هذه القضية تتعلق بـ الملفات الشخصية الهجينة في الذكاء الاصطناعيأشار جيك كوبر إلى ظهور "نوع جديد من المبدعين" أو البنائين: المستخدمون الذين لا يتناسبون مع الملف الشخصي الكلاسيكي لمهندس البرمجيات، والذين لا يتقنون بالتفصيل كيفية عمل واجهات برمجة التطبيقات أو البنية التحتية، ولكنهم يعتمدون على الذكاء الاصطناعي لتطوير ونشر المنتجات.
هذا النوع من المستخدمين، الذي غالباً ما يمارس ما يسميه البعض ترميز الاهتزاز أصبح الاعتماد بشكل كبير على اقتراحات الذكاء الاصطناعي والأتمتة دون التحقق بدقة من كل شيء هدفًا طبيعيًا للعديد من المنصات. ويشير النقاد إلى أن المشكلة تكمن في ذلك. لا تزال معظم البنية التحتية الحالية تفترض وجود مستخدمين خبراء قادرين على استخدام الذكاء الاصطناعي في المتصفح، القادرة على فهم دلالات رمز مميز ذي صلاحيات كاملة أو نقطة نهاية دون تأكيد بشكل فوري.
تُقدّم حالة PocketOS تناقضًا واضحًا: فبينما تُروّج الصناعة لبرامج قادرة على كتابة التعليمات البرمجية، وإدارة عمليات النشر، أو صيانة قواعد البيانات بشكل شبه تلقائي، الحواجز الأمنية وضوابط التصاريح لا تتكيف هذه الوسائل دائماً مع هذا الجمهور الجديد أو مع الاستقلالية الحقيقية التي يكتسبها الوكلاء.
لخص كرين الأمر بعبارة قوية: هذه ليست مجرد حالة "ذكاء اصطناعي سيئ أو واجهة برمجة تطبيقات سيئة"، بل هي عرض من أعراض قطاع كامل يدمج العملاء في الإنتاج بشكل أسرع من تعزيزه لبنيته الأمنيةإن الضغط لطرح ميزات الذكاء الاصطناعي في السوق يتنافس، عملياً، مع الاستثمار في آليات الحماية والحوكمة.
في غضون ذلك، سبق أن تم رصد منصة التطوير "كيرسور" - التي كان يعمل عليها البرنامج الخبيث - بسبب حوادث أخرى لعمليات تخريبية. بل إن بعض المحللين انتقدوا المنصة لامتلاكها "قدرات تسويقية أفضل من قدراتها البرمجية"، مستشهدين بحالات سابقة قامت فيها برامج خبيثة ذات صلاحيات واسعة بحذف بيانات أو إجراء تغييرات لا رجعة فيها دون إشراف كافٍ.
دروس تقنية: الأذونات، والنسخ الاحتياطية، والتأكيدات
في أعقاب ما حدث، بدأ كل من كرين وخبراء آخرون في طرح سلسلة من الأسئلة تدابير ملموسة مما قد يقلل من خطر تسبب وكيل الذكاء الاصطناعي في حادث مماثل في المستقبل، لا سيما في البيئات الأوروبية حيث بدأت لوائح الذكاء الاصطناعي في التشديد بنصوص مثل قانون الذكاء الاصطناعي.
من بين أكثر المقترحات تكراراً ما يلي: تأكيدات قوية على الأعمال التخريبيةالفكرة هي أنه لا يمكن لأي نموذج بمفرده إكمال عملية مسح الإنتاج أو عملية لا رجعة فيها دون المرور بعملية تحقق بشري واضحة، سواء من خلال رمز SMS أو عامل مصادقة ثانٍ أو موافقة مسجلة صريحة.
كما تم التركيز على تعزيز مبدأ الحد الأدنى من الامتياز فيما يخص رموز واجهة برمجة التطبيقات (API): تُحدد الصلاحيات لكل عملية، ولكل بيئة، ولكل مورد، بحيث لا يمكن لمفتاح مُنشأ لإدارة نطاقات مخصصة أن يحذف كميات كبيرة من البيانات عن طريق الخطأ. يتطلب هذا مراجعة أكثر دقة لتصميم واجهة برمجة التطبيقات وسياسات الوصول التي يقدمها مزودو البنية التحتية.
ومن الدروس الواضحة الأخرى ضرورة الحفاظ على النسخ الاحتياطية خارج نطاق الضرر نفسهيشمل ذلك النسخ الاحتياطية المخزنة على أنظمة أخرى، والنسخ الاحتياطية "الباردة" التي لا يمكن الوصول إليها مباشرة من شبكة الإنتاج، وآليات الاستعادة الموثقة والمختبرة جيدًا، بحيث لا يمكن لمكالمة API واحدة حذف البيانات الحية والنسخ الاحتياطية الحديثة في نفس الوقت.
وأشار كرين أيضًا إلى أهمية تحديد ما يمكن للوكيل فعله وما لا يمكنه فعله على مستوى واجهة برمجة التطبيقات (API). فالقواعد المكتوبة للنموذج - على سبيل المثال، "لا تنفذ أوامر تخريبية بدون إذن" - لا تفي بالغرض إذا تتيح واجهة برمجة التطبيقات الخاصة حذف بيئة الإنتاج بطلب واحد مصادق عليهبمعنى آخر، لا يمكن أن يعتمد الأمن فقط على حسن سلوك الذكاء الاصطناعي.
المسؤولية القانونية والإطار التنظيمي
كما أعادت هذه القضية إشعال النقاش حول من المسؤول عندما يرتكب نظام الذكاء الاصطناعي خطأً بهذا الحجم؟في ظل الإطار القانوني الحالي في الولايات المتحدة، تقع المسؤولية عادةً على عاتق المستخدم أو الشركة التي تقرر استخدام الأداة، بدلاً من مقدم النموذج.
توضح شروط خدمة منصات مثل Cursor أو مطوري النماذج مثل Anthropic عادةً ما يقدمونه إمكانية الوصول إلى نموذج الذكاء الاصطناعي، ولكن دون ضمانات بشأن ما سيفعله في سياقات محددةمن الناحية العملية، هذا يعني أنه إذا قام أحد الوكلاء بحذف قاعدة بيانات الإنتاج، فإن عبء الإثبات وتكلفة الحادث عادة ما يقع على عاتق الشركة المتضررة.
في أوروبا، يتقاطع النقاش مع تطبيق قانون الذكاء الاصطناعي، الذي يسعى إلى تحديد فئات المخاطر وفرض التزامات إضافية على الأنظمة ذات التأثير الكبير. ورغم أن برامج مثل برنامج PocketOS لا تندرج دائمًا ضمن الفئات الأعلى خطورة، إلا أن حوادث كهذه تُعزز فكرة أن أنظمة قادرة على العمل على البنى التحتية الحيوية ينبغي إخضاعها لمتطلبات أمنية وتدقيقية وتتبع أكثر صرامة.
من جانبها، استعانت شركة كرين بمستشار قانوني لتقييم نسبة الضرر التي يمكن أن تُعزى إلى عيوب في تصميم البنية التحتية للسكك الحديدية أو في إعدادات النظام الآلي، ونسبة الضرر التي تندرج ضمن المخاطر الكامنة في استخدام الذكاء الاصطناعي. ولا يزال الأمر غامضاً، نظراً لندرة التشريعات الخاصة بالأنظمة الآلية المستقلة.
إلى حين وجود تنظيم أكثر وضوحاً، تعمل العديد من الشركات في نوع من الفراغ. خالٍ من المسؤولياتإنهم يوكلون المهام الحساسة إلى الأنظمة الآلية، ولكن عندما يحدث خطأ ما، يجدون أنفسهم عالقين بين عقود الخدمة التي تحد من مسؤولية الموردين وبوالص التأمين التي لا تزال غير ملائمة لهذا النوع من المخاطر التكنولوجية.
كل ما حدث مع نظام التشغيل PocketOS أصبح بمثابة دراسة حالة حول ما يحدث عند دمج... الذكاء الاصطناعي مع إمكانية الوصول شبه الكاملةكان السبب الرئيسي هو بنية الصلاحيات المتساهلة وضعف تقسيم النسخ الاحتياطية. تسع ثوانٍ فقط كانت كافية لإشعال أزمة تشغيلية، وكشف الثغرات القانونية، وتذكير الجميع بأنه مهما بلغت الأتمتة من تطور، يبقى من الضروري وضع حدود واضحة لما يمكن للوكلاء الوصول إليه في بيئة الإنتاج، خاصةً عندما تعتمد بيانات العملاء والشركات بأكملها على منع أي شيء "سحري" من الاختفاء بين عشية وضحاها.
