أساسيات
الرمز / التوكن
Token
أصغر وحدة نصية يفهمها النموذج — قد تكون كلمة أو جزءاً من كلمة.
الشرح التفصيلي
النموذج لا يقرأ النص حرفاً بحرف بل يقطّعه إلى توكنز (قطع نصية). كل توكن يُمثَّل برقم في القاموس الداخلي للنموذج. التكلفة وسرعة الاستجابة وحدود السياق كلها تُقاس بالتوكنز لا بالكلمات.
مثال عملي
كلمة «ذكاء» قد تُحسب 2-3 توكنز في النماذج العربية. عموماً 1 كلمة عربية ≈ 2 توكن.
مصطلحات ذات صلة
تعلّم الذكاء الاصطناعي بالعربية
مسارات تدريبية مجانية تبدأ من الصفر وتنتهي بشهادة إتمام.
استعرض المسارات