تقنيات
التقطيع إلى توكنز
Tokenization
عملية تحويل النص إلى توكنز يفهمها النموذج.
الشرح التفصيلي
كل نموذج له Tokenizer خاص يحدد كيف يُقطّع النصوص. النماذج الأحدث تستخدم Tokenizers أكثر كفاءة للعربية، مما يقلل التكلفة ويزيد كمية النص في نافذة السياق.
مصطلحات ذات صلة
تعلّم الذكاء الاصطناعي بالعربية
مسارات تدريبية مجانية تبدأ من الصفر وتنتهي بشهادة إتمام.
استعرض المسارات