تبحث شركة OpenAI عن مسؤول رئيسي للاستعداد للتخفيف من مخاطر الذكاء الاصطناعي الخاص بها.

  • تعلن شركة OpenAI عن وظيفة شاغرة رفيعة المستوى لرئيس قسم الاستعداد المسؤول عن توقع وتخفيف المخاطر الجسيمة المرتبطة بنماذج الذكاء الاصطناعي المتقدمة الخاصة بها.
  • يركز هذا المنصب، الذي روج له سام ألتمان بشكل مباشر، على التهديدات الحدودية مثل الأمن السيبراني الهجومي، والاستخدامات البيولوجية المحتملة، والآثار على الصحة العقلية.
  • يأتي هذا البحث بعد فترة مضطربة لفرق الأمن في OpenAI ووسط دعاوى قضائية وانتقادات بشأن تأثير ChatGPT على الصحة النفسية لبعض المستخدمين.
  • سيتمتع المسؤول الجديد بصلاحية إيقاف عمليات النشر، وتنسيق اختبارات الضغط، وتصميم إطار عمل للاستعداد يوازن بين الابتكار والأمن.

رئيس قسم الاستعداد لمخاطر الذكاء الاصطناعي في OpenAI

أعلنت شركة OpenAI عن وظيفة شاغرة غير عادية للغاية: رئيس قسم التحضير تُكلف الشركة بمهمة استشراف المخاطر المحتملة مع تقدم الذكاء الاصطناعي خطوةً أخرى نحو الأمام. وتبحث عن شخصٍ لقيادة استراتيجيتها في رصد أخطر مخاطر نماذجها واحتوائها، في وقتٍ يشتد فيه الجدل حول السلامة والصحة النفسية، لا سيما في أوروبا.

الدور، الذي يُطلق عليه باللغة الإنجليزية رئيس قسم التأهبتأسست هذه المنظمة بتفويض واضح: دراسة التهديدات الحدودية والتخفيف من حدتها قبل أن تصل أنظمتها إلى عامة الناس. ويشمل ذلك كل شيء بدءًا من الانتهاكات المحتملة في الأمن السيبراني، بدءًا من اكتشاف الثغرات الأمنية الحرجة وصولاً إلى التأثير النفسي لإجراء محادثات طويلة مع روبوتات الدردشة التي تبدو بشرية.

ما الذي سيفعله رئيس قسم الإعداد الجديد في OpenAI؟

وفقًا للوصف الوظيفي الداخلي، سيتعين على الشخص المختار تنفيذ المكالمة "إطار التحضير" طورت OpenAI مجموعة من العمليات والمعايير لرصد القدرات المتقدمة التي قد تؤدي إلى أضرار جسيمة. ويشمل ذلك سيناريوهات مثل إطلاق القدرات البيولوجية، ودعم تطوير الأسلحة، وإدارة الأنظمة التي... إنهم يطورون أنفسهم بأنفسهم مع القليل من الإشراف البشري.

عملياً، يتضمن هذا الإطار تنسيق التقييمات الفنية للنماذج، وتصميمها. نماذج التهديد في مجالات مختلفة (الأمن السيبراني، علم الأحياء، مخاطر التضليل(التلاعب النفسي، وما إلى ذلك) واقتراح حلول وقائية قبل نشر نسخة جديدة على نطاق واسع. إنه ليس موقفًا استعراضيًا، بل يتعلق بكبح جماح الأمور عند الضرورة، حتى لو أدى ذلك إلى تأخير الإصدارات أو الميزات المنتظرة بشدة.

كما تتضمن الوظيفة الشاغرة حزمة تعويضات توضح مستوى الطلب بوضوح: تقدم OpenAI حوالي 555.000 دولار سنوياً بالإضافة إلى الأسهمتُخصص هذه المناصب عادةً في قطاع التكنولوجيا لأدوار ذات أهمية استراتيجية تُعادل منصب الرئيس التنفيذي. في المقابل، تُقر الشركة صراحةً بأنها وظيفة تتطلب ضغطاً كبيراً، وتختلف تماماً عن الصورة البراقة التي تُنسب أحياناً إلى عالم الذكاء الاصطناعي.

وقد وصف سام ألتمان نفسه المنصب بأنه وظيفة "مُرهِق" حيث يتعين على الشخص المختار أن يكون جاهزاً للعمل بكامل طاقته منذ اليوم الأول. والرسالة الأساسية هي أن OpenAI ترى حاجة ملحة لتعزيز هذا المجال، في سياق أعربت فيه الهيئات التنظيمية الأوروبية وسلطات حماية البيانات عن قلقها بشأن آثار الذكاء الاصطناعي على الأمن وحقوق المواطنين.

إلى جانب الجوانب الداخلية، سيتعين على رئيس قسم الإعداد أيضاً أن يعمل كـ جسر يربط بين البحث والتطبيق التجارييتضمن هذا الدور ترجمة النتائج التقنية إلى سياسات عملية، وتحديد عتبات المخاطر المقبولة، بل وحتى التوصية بالتعليق المؤقت لنموذج ما إذا تجاوزت المخاطر المستويات المسموح بها. في سوقٍ كان شعاره "التحرك بسرعة وتجربة كل شيء"، يهدف هذا الدور إلى تغيير وتيرة العمل.

مخاطر الذكاء الاصطناعي في OpenAI

الضغط الناتج عن التأثيرات على الصحة النفسية والسلامة

أقر سام ألتمان علنًا بأن نماذج OpenAI الحالية بدأت تثير المخاوف. "تحديات حقيقية"وأشار من بينها إلى التأثير المحتمل على الصحة العقلية للمستخدمين، وهي قضية حساسة بشكل خاص في بيئة أوروبية تركز بشدة على الرفاه النفسي وحماية الطفل، فضلاً عن قدرة هذه الأدوات على تحديد الثغرات الأمنية الحرجة في أنظمة الكمبيوتر.

في الأشهر الأخيرة، تورطت الشركة في دعاوى قضائية تتعلق بالوفاة غير المشروعة وفي اتهامات بأن برنامج ChatGPT وأنظمة أخرى ربما ساهمت في ترسيخ الأوهام، وتغذية نظريات المؤامرة، أو تأييد أفكار تدمير الذات لدى بعض المستخدمين المعرضين للخطر. وفي إحدى أبرز القضايا، تزعم عائلة مراهق أن المحادثات مع صورة رمزية مُولّدة بواسطة الذكاء الاصطناعي لعبت دورًا في انتحاره.

على الرغم من أن OpenAI تجادل بأن العديد من هذه الحوادث ناتجة عن سوء استخدام أو سوء تفسير الردود، إلا أن النقاش لم يعد تقنيًا بحتًا. فعندما يُستخدم برنامج الدردشة الآلي كـ رفيق، أو مستشار، أو داعم عاطفييتلاشى الخط الفاصل بين الأداة والعلاقة. بالنسبة لعلماء النفس والأطباء النفسيين الأوروبيين، يفتح هذا الأمر جبهة جديدة من المخاطر: مستخدمون يستبدلون التواصل البشري بنظام مصمم لإرضاء الآخرين، ويمكنه أن يبرر سلوكيات خطيرة.

سيتعين على رئيس قسم التأهب الجديد دمج هذه المخاوف في اختبارات السلامة الخاصة بالنماذج. ويتضمن ذلك دمج معايير محددة تتعلق الصحة النفسية، والعزلة الاجتماعية، والاعتماد على الآخرينوبعيدًا عن الإشراف التقليدي على المحتوى، سيكون السؤال الرئيسي هو كيفية اكتشاف علامات الضيق أو الضعف وكيفية جعل النظام يستجيب بمسؤولية، دون تجاوز حدود ما ينبغي أن تكون عليه الأداة التكنولوجية.

في الوقت نفسه، ركز ألتمان على قضية حساسة بنفس القدر: استخدام الذكاء الاصطناعي لـ العثور على نقاط الضعف في البنية التحتية الحيوية. يمكن للنماذج التفاعلية، من حيث المبدأ، أن تُسهم في تعزيز الأمن السيبراني، ولكنها قد تُصبح أيضًا حليفًا للمهاجمين القادرين على أتمتة اكتشاف الثغرات الأمنية أو تصميم هجمات مُعقدة. ويكمن التحدي، وفقًا للرئيس التنفيذي، في تزويد المدافعين بقدرات متقدمة دون تسهيل الأمر على المهاجمين.

دور فني يتمتع بصلاحية الكبح الطارئ

إلى جانب المسمى الوظيفي الجذاب، يتضمن منصب رئيس قسم التأهب جانبًا تقنيًا عميقًا. وترغب شركة OpenAI في أن يقود هذا المنصب عملية اختبار "الفريق الأحمر"أي أنهم سيجرون محاكاة للهجمات الداخلية على نماذجهم الخاصة لمعرفة كيفية استغلالها بشكل خبيث. كما سيحتاجون إلى تقييم مدى قدرة النظام على خداع الناس، أو تجاوز الضوابط، أو العمل بشكل مستقل.

ومن بين مسؤولياتها الرئيسية، تشير الشركة إلى تقييم المخاطر الكارثيةتشمل هذه المخاطر المساعدة المحتملة في تطوير أسلحة كيميائية أو بيولوجية، ومراقبة ما يُسمى باستقلالية الذكاء الاصطناعي: وهي سلوكيات يتعلم فيها النموذج تجاوز القيود، أو السعي وراء أهدافه الخاصة، أو التلاعب بالمستخدمين لتحقيقها. وتثير هذه السيناريوهات قلقًا في أوروبا نظرًا لتأثيرها المحتمل وصعوبة إدراجها ضمن الأطر التنظيمية القائمة.

وقد أنشأت OpenAI أيضًا "لوحة معلومات المخاطر" يصنف هذا النظام التهديدات إلى أربعة مستويات: منخفض، متوسط، مرتفع، وحرج. وتؤكد الشركة التزامها بعدم إصدار أي نموذج يصل إلى مستوى مرتفع أو أعلى في أي من الفئات التي تم تحليلها. نظرياً، يمنح هذا رئيس قسم التأهب صلاحية التوصية بإيقاف عملية النشر إذا لم يتم تخفيف المخاطر بشكل كافٍ.

تثير هذه القدرة على الكبح الطارئ سؤالاً رئيسياً: ما مدى أهمية الأمن في الواقع؟ في ظل الأهداف التجارية، وفي شركة تطمح إلى مضاعفة إيراداتها وتوسيع نطاق استخدام الذكاء الاصطناعي ليشمل قطاعات مثل الرعاية الصحية والتعليم والإدارة العامة، لن يكون من السهل تحقيق التوازن بين الحكمة والسرعة. وسيعتمد نجاح هذا المنصب بشكل كبير على ضمان ألا تبقى توصياته مجرد توصيات.

بالنسبة للهيئات التنظيمية الأوروبية، يمكن أن يكون وجود دور لهذه السلطة علامة إيجابية، لا سيما في سياق لوائح مثل قانون الذكاء الاصطناعي للاتحاد الأوروبيوهذا يفرض التزامات محددة على الأنظمة عالية المخاطر. ومع ذلك، سيتم تقييم مصداقية هذه الالتزامات على أساس كل حالة على حدة عند اتخاذ قرار بشأن إطلاق قدرة مثيرة للجدل أو تقييدها أو التخلي عنها.

وظيفة شاغرة في مجال الأمن وإدارة المخاطر لدى شركة OpenAI

إعادة تنظيم داخلية وتوترات داخل فريق الأمن

يأتي إنشاء هذا المنصب الشاغر رسميًا بعد عدة تغييرات في معدات الأمن من شركة OpenAI. تم نقل ألكسندر مادري، الذي كان مسؤولاً عن الإعداد، إلى وظائف أخرى في عام 2024. تم شغل منصبه مؤقتًا من قبل مدراء مثل خواكين كينونيرو كانديلا وليليان وينغ، لكن هذا الحل لم يدم طويلاً: غادرت وينغ الشركة بعد بضعة أشهر، وانتهى الأمر بكينونيرو كانديلا بالتركيز على اكتساب المواهب.

في غضون ذلك، غادرت شخصيات رئيسية أخرى في مجال السلامة والتوافق، مثل إيليا سوتسكيفر ويان ليك، منددين بأن الشركة تركز بشكل أكبر على إطلاق منتجات جديدة بدلاً من السلامة على المدى الطويل. وقد عززت هذه التحركات الانطباع بأن كان الهيكل الأمني ​​الداخلي في حالة اضطراب تاملم يمر هذا الأمر مرور الكرام على الحكومات والهيئات التنظيمية، وخاصة في الاتحاد الأوروبي.

يهدف إعادة فتح منصب رئيس قسم التأهب إلى إنهاء فترة التعيينات المؤقتة والتناوب، واستعادة القيادة الأمنية المركزية تحت قيادة شخصية واحدة ذات صلاحيات واضحة. والرسالة التي تسعى OpenAI إلى إيصالها هي أن إدارة المخاطر لم تعد مهمة موزعة، بل أصبحت مهمة مركزية. المسؤولية التنفيذية العليابالموارد وسلطة اتخاذ القرار.

في بيئة مثل أوروبا، حيث يتم التأكيد على الحاجة إلى التتبع والحوكمة الرشيدة، فإن هيكل أمان مستقر يكاد يكون من الضروري أن تطمح منصات الذكاء الاصطناعي الكبيرة إلى العقود العامة أو دمجها في الخدمات الحيوية. وبدون قيادة واضحة، يصعب إثبات وجود عمليات متسقة للكشف عن المشكلات وتقييمها وتصحيحها.

والسؤال المطروح الآن هو ما إذا كان هذا التعيين الجديد كافياً لتهدئة الأوضاع بعد فترة اتسمت بالانتقادات والشكوك. وستراقب منظمات الحقوق الرقمية وجمعيات الصحة النفسية عن كثب كيفية ترجمة هذه التغييرات التنظيمية إلى إجراءات ملموسة. لحماية المستخدمين الأوروبيين من الأضرار المحتملة.

بين الابتكار المتسارع واحتواء المخاطر

يحدث كل هذا النشاط في الوقت الذي تحافظ فيه OpenAI على وتيرة محمومة من الإصدارات والتحسينات. وقد قدمت الشركة نماذج نصية وأدوات لتوليد الفيديو أكثر قوة بشكل متزايد، مثل: سورا وأنظمة قادرة على أتمتة أجزاء من العمل العلمي أو تطوير البرمجيات. كل قفزة في القدرات تفتح الباب أمام استخدامات مفيدة، ولكن أيضًا أمام أساليب جديدة للإساءة.

أقرّ ألتمان بأنه إذا كان الهدف هو تجنّب أي ضرر، فإنّ أبسط حل هو سحب منتجات مثل ChatGPT أو Sora من السوق. لكنه يرى أن ذلك سيعيق التطورات التي قد تكون مفيدة في الطب أو التعليم أو البحث العلمي. وبدلاً من الحظر، يتضمن نهج OpenAI... السيطرة على العواقب: افترض أن هناك إخفاقات، ولكن اعمل على ضمان ألا تكون آثارها غير قابلة للإصلاح.

بالنسبة لرئيس قسم الإعداد، يترجم هذا النهج إلى العيش في نوع من مفارقة دائمةمن جهة، سيتطلب الأمر السماح بنشر النماذج مع إتاحة مجال للتجربة، إذ يصعب تقييم أدائها دون بيانات واقعية. ومن جهة أخرى، سيتعين فرض قيود وتأخيرات عند رصد أنماط مخاطر لم تكن متوقعة في المختبر.

إن هذا التوتر بين "الإطلاق السريع" و"الإطلاق الآمن" ليس جديدًا في مجال التكنولوجيا، ولكنه يتفاقم في حالة الذكاء الاصطناعي التوليدي: إذ يمكن أن تؤثر الأخطاء في نموذج اللغة على القرارات الطبية، أو تقترح استراتيجيات مالية، أو تتغلغل في العمليات التعليمية، أو تغذي حملات التضليل. وهذا يُجبرنا على إعادة التفكير في ثقافة وادي السيليكون الكلاسيكية، بناءً على الاختبار في بيئة الإنتاج والتصحيح الفوري.

في أوروبا، حيث شددت السلطات من إجراءات "التحرك السريع وكسر القواعد"، قد يكون دور مسؤول الاستعداد هذا حاسماً في كسب ثقة الجهات التنظيمية وعملاء الأعمال. وقد بدأت دول مثل إسبانيا وفرنسا وألمانيا بالفعل في وضع خطط لذلك. خطوط حمراء في استخدام الذكاء الاصطناعي في الرعاية الصحية أو العدالة أو التعليم، لذا فإن القرارات التي يتخذها هذا المسؤول التنفيذي الجديد سيكون لها تأثير مباشر على كيفية نشر هذه الأدوات في القارة.

الجانب الإنساني لمهمة تحت ضغط عالٍ

على الرغم من أن الراتب والمكانة المرموقة لهذا المنصب قد يكونان جذابين، إلا أن هناك من يحذر من أنه قد يتحول إلى... "الفخ الذهبي"سيتعين على الشخص المسؤول التعامل مع توقعات عالية للغاية: الحد من المخاطر الكارثية، وإرضاء الجهات التنظيمية والرأي العام، وفي الوقت نفسه عدم التحول إلى عقبة لا يمكن التغلب عليها أمام العمل.

يتضمن العمل أيضًا إدارة العلاقات مع فرق المنتجات والمهندسين والمحامين والمتخصصين في الأخلاقيات والصحة النفسية، والذين قد لا ينظرون دائمًا إلى المخاطر بنفس الطريقة. ستكون هناك أوقات يتعارض فيها الضغط التجاري لإطلاق ميزات جديدة بشكل مباشر مع الحاجة إلى فرض عوائق أو تأخيراتوستكون نقطة الاحتكاك هي شكل رأس التحضير.

في غضون ذلك، تأمل منظمات المستخدمين والمجموعات المهنية وصناع السياسات في الاتحاد الأوروبي ألا تبقى أدوار كهذه مجرد أدوار رمزية. فبعد سنوات من وعود التنظيم الذاتي من جانب قطاع التكنولوجيا، ثمة شعورٌ معينٌ بالتردد. شك حول فعالية الآليات الداخلية عندما تتعارض مع مصالح النمو وحصة السوق.

إذا نجح هذا المنصب في تحقيق التماسك في استراتيجية أمن OpenAI، وإدخال معايير صارمة في تقييم المخاطر، وعند الضرورة، منع عمليات النشر الإشكالية، فقد يصبح... مرجع للشركات الأخرى في هذا القطاعأما إذا تُركت دون سلطة حقيقية في اتخاذ القرار، فسيكون من الصعب عليها إقناع أولئك الذين يطالبون حاليًا بمزيد من الرقابة الخارجية على الذكاء الاصطناعي.

من خلال استحداث منصب رئيس قسم الجاهزية، تحاول OpenAI إرسال إشارة مفادها أنها أخذت التحذيرات بعين الاعتبار وأنها على استعداد لـ عزز درعك الداخلي قبل اتخاذ الخطوة التكنولوجية التالية. في ظل سيناريو يتغلغل فيه الذكاء الاصطناعي في الحياة اليومية لملايين الأشخاص في أوروبا وبقية أنحاء العالم، سيعتمد النطاق الحقيقي لهذه الحركة على كيفية ممارسة هذه القوة الرادعة، وإلى أي مدى تُعطى الأولوية للصحة والسلامة النفسية على حساب التسرع في الابتكار، وعلى قدرة هذه الشخصية على ترجمة المبادئ الكبرى إلى قرارات غير مريحة ولكنها ضرورية.

توسع شركتا بالو ألتو نتوركس وجوجل كلاود تحالفهما
المادة ذات الصلة:
عززت شركتا Palo Alto Networks وGoogle Cloud تحالفهما الاستراتيجي في مجال الذكاء الاصطناعي والأمن السيبراني