دراسات أكاديمية كشفت عن مشكلات في شركات كبرى منها تحيّز نظام التوظيف بـ«أمازون» ضد النساء

نُظم الذكاء الاصطناعي متّهمة بـ «التحيّز الخوارزمي»

باحثون في معهد «ماساشوستس للتقنية» أطلقوا مبادرة «الذكاء الاصطناعي الآن» كمحاولة لتحديد «التحيّز الخوارزمي». أرشيفية

كشفت دراسات أكاديمية مشكلات فعلية في شركات كبرى، بأن نظم الذكاء الاصطناعي تمارس ما بات يعرف بظاهرة «التحيز الخوارزمي»، أي أن النماذج الرياضية «الخوارزميات» التي تقوم عليها الأنظمة والتطبيقات العاملة بالذكاء الاصطناعي تنحاز لفئة أو طرف ما أثناء عملها، على حساب فئة أو طرف أو أطراف أخرى، وذلك أثناء قيامها بمهامها التي تبدأ بتحليل وفرز وتصنيف وفهم لكم كبير من البيانات والمعلومات، ثم اتخاذ قرارات تتعلق بقبول خيارات معينة وتنفيذها، ورفض خيارات أخرى واستبعادها، وبالتالي تأتي القرارات متحيزة ولا تستند الى مبررات موضوعية.

مشكلة «أمازون»

ووفقاً لتقرير بثته وكالة «رويترز» للأنباء، أخيراً، حول مشكلة «التحيز الخوارزمي» في نظام الموارد البشرية بشركة «أمازون»، فإن تجربة «أمازون» مع النظام الآلي للموارد البشرية بدأت في وقت كان التعلم الآلي يكتسب فيه قوة في عالم التكنولوجيا، وذلك بفضل زيادة الطاقة الحاسوبية منخفضة الكلفة.

وكان قسم الموارد البشرية في «أمازون» على وشك البدء في عملية توظيف آلي كاملة منذ يونيو 2015، بعدما زاد عدد موظفي الشركة على الصعيد العالمي بأكثر من ثلاثة أضعاف ليصل إلى ما يزيد على 575 موظفاً، لذا شكلت فريقاً في مركز «أمازون» للهندسة والبرمجيات في العاصمة الاسكتلندية، إدنبرة، لهذا الغرض، تكون من 12 شخصاً، كان هدفهم تطوير الذكاء الاصطناعي الذي يمكن أن يزحف بسرعة على شبكة الإنترنت، ويتتبع الباحثين عن وظائف، ويختار منهم من يستحقون التوظيف في «أمازون».

وابتكرت المجموعة 500 نموذج رياضي «خوارزميات» تركز على وظائف ومواقع عمل محددة، حيث علّموا كلّاً منها أن يفهم ويتعرف الى ما يزيد على 50 ألف مصطلح ظهرت في السير الذاتية للمرشحين، كما علمت «الخوارزميات» نفسها التعرف الى المهارات الواردة في السير الذاتية، مثل القدرة على التعامل مع الحاسبات، وكتابة الأكواد البرمجية وغيرها. لكن مع تحليل أداء هذه النظم تبين أنها تعاني «التحيز الخوارزمي»، ولم يكن التحيز ضد المرأة هو القضية الوحيدة، بل كانت هناك مشكلات متعلقة بالبيانات التي ترتكز عليها أحكام النماذج، إذ أدت هذه المشكلات إلى أن النظام كان يقوم بالتوصية بتعيين مرشحين غير مؤهلين لأي نوع من الوظائف المتاحة.

النوع الاجتماعي

وقال خمسة من الأخصائيين في التعلم الآلي في «أمازون» إنهم وجدوا أن النظام لا يحب النساء، ولا يصنف المرشحين لوظائف مطوري البرامج، وغيرها من الوظائف الفنية، بطريقة محايدة تجاه النوع الاجتماعي، بحيث علّم النظام نفسه أن المرشحين الذكور أفضل، وبات يعاقب السيرة الذاتية التي ترد بها كلمة «نساء»، كما بات يخفض الدرجة التي يمنحها لكل الخريجين من كليات نسائية.

وأوضح الأخصائيون، الذين لم يكشفوا عن هوياتهم، أن «أمازون» قامت بمراجعة هذه «الخوارزميات» وتعديلها لتصبح محايدة، لكن ذلك لم يكن ضماناً كافياً بأن النظام الآلي لن يعود مرة أخرى لوضع طرق مختلفة لفرز المرشحين للوظائف تقوم على التمييز والتحيز، ولذلك قامت الشركة في نهاية المطاف بحل الفريق المسؤول عن تطوير هذا النظام، وإيقاف النظام نفسه عن العمل، بعدما فقدت الأمل في المشروع، ولم تأخذ بالقرارات التي اتخذها النظام خلال الفترة الأخيرة.

مبادرة

من جهتها، أطلقت مجموعة من الباحثين في معهد «ماساشوستس للتقنية» (إم آي تي)، الذي يعد واحداً من أكثر مراكز بحوث التقنية تميزاً في العالم، مبادرة بالتعاون مع الاتحاد الأميركي للحريات المدنية أطلقوا عليها مبادرة «الذكاء الاصطناعي الآن» كمحاولة لتحديد وإبراز «التحيز الخوارزمي» الذي يعتبره الخبراء تحدياً متنامياً، يشكّل قضية اجتماعية رئيسة في لحظة حرجة في تطور التعلم الآلي والذكاء الاصطناعي، ويمكن أن يكون لها عواقب سلبية، بعدما باتت تستخدم بشكل روتيني لاتخاذ قرارات مالية وقانونية حيوية، مثل الحصول على فرصة عمل، أو إفراج مشروط من السجون، أو الحصول على قرض وغيرها.

وشارك في المبادرة خبراء وباحثون من خارج المعهد، من بينهم الباحثة في شركة «مايكروسوفت»، كيت كراوفورد، والباحثة في شركة «غوغل»، ميرديث ويتيكر. وقالت الباحثتان إن «(التحيز الخوارزمي) يوجد في جميع أنواع الخدمات والمنتجات، ولانزال في الأيام الأولى لفهم هذه الظاهرة، وقد شهدنا هذا العام المزيد من الأنظمة التي تواجه مشكلات، وهذه هي فقط تلك التي تم التحقيق فيها، وكان من بينها أنظمة مستخدمة في تصنيف المعلمين، ونماذج متحيزة جنسياً لمعالجة اللغة الطبيعية».

الثقة بالنماذج الرياضية

بدورها، أوضحت عالمة الرياضيات، كاثي أونيل، مؤلفة كتاب «تدمير أسلحة الرياضيات»، الذي يسلط الضوء على خطر «التحيز الخوارزمي»، والمشاركة في المبادرة أن «الناس غالباً ما يكونون راغبين في الثقة بالنماذج الرياضية لأنهم يعتقدون أنها ستزيل التحيز البشري، لكن من الناحية العملية تحل (الخوارزميات) محل البشر وتمارس تحيزاتها الخاصة».

وفي السياق ذاته، ذكرت محامية الموظفين في برنامج العدالة العرقية في اتحاد الحريات المدنية الأميركي، راشيل جودمان، أن «الاتحاد يركز بشكل متزايد على تطبيق ونشر مفهوم (العدالة الخوارزمية) كقضية أساسية في كل نظم الذكاء الاصطناعي».

وأجمع الباحثون المشاركون في المبادرة على أن التحدي الرئيس هو أن أصحاب المصلحة الأساسيين، بما في ذلك الشركات التي تطور وتطبق أنظمة التعلم الآلي والمنظمين الحكوميين، يُبدون اهتماماً محدوداً برصد والحد من «التحيز الخوارزمي»، مشيرين إلى أن جميع أنواع النماذج الرياضية التي تستخدمها الشركات المالية والتقنية غير شفافة في ما يتعلق بكيفية عملها.


«التحيّز الخوارزمي»

يُعد «التحيّز الخوارزمي» ظاهرة جديدة في عالم التقنية، أثارت المخاوف من أن الكثيرين حول العالم قد يتعرضون للضرر في حياتهم ومصالحهم العملية والشخصية والاجتماعية، وأوضاعهم القانونية، بسبب هذه الظاهرة الوليدة المصاحبة لانتشار أنظمة الذكاء الاصطناعي في مجالات مختلفة، منها التوظيف ومكافحة الجريمة والائتمان، والمعاملات المالية والبنكية، والإفراج المشروط عن المسجونين، وغيرها. وقال باحثون إن المرأة والأقليات وبعض العقائد والتنويعات الاجتماعية في مقدمة ضحايا «التحيّز الخوارزمي».

تويتر