تعتمد نماذج الذكاء الاصطناعي في معالجة البيانات اللغوية على وحدات أساسية تُعرف باسم «التوكنز» أو الرموز النصية، وهي اللبنة الجوهرية التي تتيح للأنظمة فهم النصوص وتحليلها. لا تتعامل هذه النماذج مع الكلمات أو الحروف ككيانات لغوية مجردة، بل تحولها إلى أجزاء صغيرة يسهل معالجتها حسابياً.
يمكن تشبيه عملية «التوكنز» بالطريقة التي يتعلم بها المبتدئون لغة جديدة عبر تقسيم الكلمات الطويلة إلى مقاطع صوتية أصغر لتسهيل استيعابها. على سبيل المثال، قد يتم تقسيم كلمة واحدة إلى عدة وحدات نصية، مما يفسر سبب استهلاك بعض النصوص الطويلة لموارد معالجة ضخمة مقارنة بغيرها.
بعد تقسيم النص إلى هذه الرموز، تبدأ مرحلة تحويلها إلى أرقام عبر ما يُعرف بـ «التضمينات»، وهي عملية بناء جسر رقمي بين الرمز والمعنى اللغوي. وبما أن الحاسوب لا يجري عمليات حسابية على الحروف، فإنه يحتاج لتحويل كل رمز إلى معرف رقمي ثابت ضمن معجم النموذج.
تُخزن هذه المعرفات في فضاء رقمي على شكل متجهات، حيث تتقارب الكلمات المتشابهة في المعنى داخل هذا الفضاء لتسهيل استرجاع المعلومات. هذا النظام المعقد هو ما يسمح للذكاء الاصطناعي بإنتاج ردود تبدو منطقية ومترابطة سياقياً بناءً على الأرقام التي يعالجها.
يواجه المستخدمون أحياناً توقفاً مفاجئاً للمحادثات أو مطالبة بالانتظار لفترات طويلة، ويعود ذلك غالباً لتجاوز عدد الرموز المسموح بها في الجلسة الواحدة. إن إدراك هذا المفهوم يوضح لماذا تنجح بعض الأوامر المختصرة بينما تفشل المحادثات الطويلة والمعقدة في الوصول لنتائج دقيقة.
تؤثر خوارزمية التقسيم بشكل مباشر على ما يُعرف بـ «نافذة السياق»، وهي الذاكرة المؤقتة التي يحتفظ فيها النموذج بالمعلومات أثناء الحوار. تختلف سعة هذه النافذة بين النماذج القديمة التي كانت تستوعب آلاف الرموز، والنماذج الحديثة التي تتجاوز قدرتها مليون رمز نصي.
التعليقات (0)