نجاح الكتابة على الحاسب بتحريك اليد دون لوحة مفاتيح

أعلنت شركة «فيس بوك» عن نجاح الكتابة على الحاسب، عبر تحريك أصابع اليد وملامستها لسطح مستوٍ، ثم متابعتها عبر نظارات الواقع الافتراضي، دون الحاجة لوجود لوحة مفاتيح على الإطلاق، موضحة أن هذه الطريقة حققت سرعة في الكتابة، بلغت 73 كلمة في الدقيقة، بمعدل خطأ 2.4%. وقالت الشركة إن ذلك لايزال تجريبياً، لكنه ينبئ بتغييرات ثورية في تصميم وإنتاج وطريقة عمل الحاسبات المكتبية والمحمولة واللوحية، وأي جهاز آخر يعمل على إدخال الكلمات عبر لوحة المفاتيح التقليدية، حيث ستعمل حال استخدامها تجارياً على نطاق واسع، إلى إزالة لوحات المفاتيح من الأجهزة، لتحل محلها مفاتيح افتراضية، تظهر فقط عبر نظارات الواقع الافتراضي.

التواصل مع الأجهزة

وكشف باحثو معمل الواقع في «فيس بوك»، المعروف باسم «إف آر إل»، عن الطريقة الجديدة في الكتابة أمام المؤتمر الدولي لتقنيات واجهة المستخدم «يويست 2020»، الذي عقد في الولايات المتحدة أخيراً. ونشروا تقريراً مفصلاً حولها، في قسم التقنيات الجديدة بموقع «فيس بوك»، مشيرين إلى أن هذه الخطوة تأتي في إطار المشروعات التي يجريها المعمل، بغرض مساعدة المستخدمين على التواصل مع الأجهزة والحاسبات، وأدوات تقنية المعلومات، بأسهل وأسرع وأكفأ الطرق، وأنها تمت باستخدام نظارة «أوكيليوس» للواقع الافتراضي.

تتبع حركة اليد

وأفاد الباحثون بأن طريقة الكتابة دون وجود لوحة مفاتيح فعلية، هي جزء من مشروع تتبع حركة اليد، لافتين إلى أن أهمية هذا المشروع تعود إلى أنه عندما يتعلق الأمر بفعل الأشياء بشكل طبيعي، فلا شيء يضاهي يد الإنسان، حيث تساعد الأيدي البشرية القابلة للتكيف والمفهومة من قبل مليارات الأشخاص على إنجاز المهام الروتينية، والأعمال الإبداعية، وكل شيء بينهما، وبالتالي فهي المدخلات المثالية لمعظم الأنشطة.

واقع افتراضي

وأوضح الباحثون أن فكرة استخدام تقنية تتبع حركة اليد في الكتابة دون لوحة مفاتيح، تقوم على ارتداء المستخدم نظارة الواقع الافتراضي، ورؤية لوحة مفاتيح افتراضية تظهر فوق أي سطح مستوٍ أمامه، وما عليه سوى تحريك أصابعه ولمس هذا السطح بخفة شديدة، في مواضع المفاتيح التي يراها افتراضياً عبر النظارة، لتتم الكتابة، وإدخال النصوص إلى الحاسب.

وأضاف باحثو «فيس بوك» أنهم استفادوا من تقنيات تتبع حركة اليد، التي جرى العمل عليها في مجالات وتطبيقات أخرى، كما هي الحال في مجال الألعاب، وتطبيقات الواقع المعزز، المصممة لجعل التفاعل مع التكنولوجيا أكثر سهولة، وإتاحة تقنية الحوسبة الغامرة لعدد أكبر من الأشخاص، من خلال اعتماد نهج «تعال كما أنت»، للتفاعل بين الإنسان والحاسب.

أنماط الكتابة

وأشار الباحثون إلى أن الكتابة باللمس دون لوحة مفاتيح فعلية، ودون الاستفادة من ردود الفعل اللمسية من المفاتيح الفردية، تتطلب فهم أنماط الكتابة غير المنتظمة، لذلك جرى استخدام تقنيات فك التشفير الإحصائية المستخدمة في التعرف التلقائي إلى الكلام المسموع، والتي تستخدم نموذجاً صوتياً للتنبؤ بالصوتيات من إطارات الصوت.

وتابعوا أنه بدلاً من ذلك، تم في هذا استخدام نموذج الحركة للتنبؤ بضربات المفاتيح من حركة اليد، جنباً إلى جنب مع نموذج للغة، يساعد في التنبؤ بما ينوي الناس كتابته، على الرغم من حركة اليد الغامضة.

نتائج جيدة

وأفاد الباحثون بأنه، مع مواصلة الأبحاث، اكتشفوا أن تتبع حركة اليد يحقق نتائج جيدة للغاية في عزل حركة الأصابع الفردية ومساراتها، عند وصولها إلى المفاتيح.

ومن جانب آخر، وجد الباحثون أن فهم الأيدي التي تعمل في الفضاء الافتراضي أمر تكتنفه ثلاث مشكلات: الأولى مقاس المساحة المادية التي يتم تعقب اليدين فيها، فمن دون مساحة عمل كافية، ستختفي اليد ببساطة من مجال الرؤية، ما يؤدي إلى مقاطعة تفاعل المستخدم فجأة، فيما المشكلة الثانية هي تتبع وفهم الارتعاش في الأصابع، والذي تنتج عنه حركات يد متشنجة وغير طبيعية، بينما المشكلة الثالثة أن تشغيل أنظمة تتبع حركة اليد يسحب جزءاً كبيراً من قدرة المعالج، ومخزون الطاقة بالبطارية داخل نظارة «أوكيليوس»، خلال وقت قصير.

تغلب

وأكد الباحثون أنهم تمكنوا من التغلب على العقبات الثلاث، فمساحة العمل تم حلها بتشغيل أربع كاميرات تتبع حركة اليد بصورة متزامنة، حيث تتم معالجة الصور المنتجة منها لحظياً، كما تم وضع نموذج جديد للتمييز بين الحركة العادية أثناء الكتابة، والارتعاش، إذ طور الباحثون التصميم الخاص بالشبكة العصبية التي تتوقع حركة اليد فحقق الفريق انخفاضاً كبيراً في الاهتزازات دون التضحية بالدقة، وكلاهما عنصر أساسي عند بناء تتبع يدوي نابض بالحياة، وأخيراً تم ابتكار حل جعل تطبيق تتبع حركة اليد يستهلك 7% فقط من قدرة معالج النظارة وبطاريتها. وكانت النتيجة الإجمالية الكتابة بسرعة 73 كلمة في الدقيقة، بمعدل خطأ 2.4%.

الذكاء الاصطناعي

أفاد باحثو شركة «فيس بوك» بأن تطبيقات تتبع حركة اليد، تتضمن: توظيف تقنيات الذكاء الاصطناعي، وتعلم الآلة، والشبكات العصبية، فضلاً عن معالجة الصور المأخوذة من مصادر متعددة في الوقت الحقيقي، حتى يتم فهم حركة الأصابع، وترجمتها إلى حروف كتابة وكلمات، وإدخالها كنص صحيح إلى الحاسب.