كشفت غوغل ديب مايند عن نموذج جديد للذكاء الاصطناعي يحمل اسم إس إل 2 تي (SL2T)، اختصارا لـ (Sign Language to Text)، صُمم لتحويل لغة الإشارة إلى نص مكتوب.

إذ بدأت الشركة طرح التقنية على هواتف بيكسل 11 (Pixel 11) من خلال تطبيقي جي بورد (Gboard) ولايف ترانسكرايب (Live Transcribe)، على أن تدعم في البداية لغة الإشارة الأمريكية (ASL) وتحولها إلى الإنجليزية، وتقول غوغل إن مزيدا من الأجهزة واللغات ستتبع لاحقا.

تختلف ترجمة لغة الإشارة عن تحويل الكلام إلى نص بصورة جوهرية، وتوضح غوغل ديب مايند أن لغات الإشارة ليست مجرد تمثيل حركي للغات المنطوقة، بل هي لغات طبيعية مستقلة تمتلك قواعد ومفردات خاصة بها، لذلك فإن النظام لا يستطيع الاكتفاء بالتعرف على كل حركة يد وتحويلها إلى كلمة مقابلة، بل يحتاج إلى فهم السياق والتركيب اللغوي وترجمة المعنى إلى لغة مكتوبة.

وتزداد صعوبة المهمة لأن المعنى في لغة الإشارة لا ينتج من اليدين وحدهما، إذ تشارك حركة الذراعين والجذع والرأس وتعابير الوجه في نقل الرسالة.

وبحسب غوغل، فإن تتبع هذه العناصر في الوقت المناسب وبمعدل إطارات مرتفع يمثل تحديا معقدا في مجال الرؤية الحاسوبية، وهو أحد الأسباب التي جعلت تطوير أنظمة ترجمة لغة الإشارة أصعب من أنظمة التعرف على الكلام.

تعتمد إس إل 2 تي على تحويل ما تراه كاميرا الهاتف إلى بيانات هندسية تمثل نقاطا على جسم المستخدم بدلا من إرسال تسجيل الفيديو الخام إلى نظام الترجمة. وتوضح غوغل أن نموذجا يعمل على الجهاز، باستخدام ميديا بايب هوليستيك (MediaPipe Holistic)، يتتبع مواقع هذه النقاط، ثم تُرسل الإحداثيات الهندسية إلى الخادم لمعالجة الترجمة، بينما يمكن التخلص من الفيديو الأصلي فورا، وتقول الشركة إن هذا التصميم يساعد في حماية خصوصية المستخدمين.