تقنيات
التقطيع إلى توكنز
Tokenization
عملية تحويل النص إلى توكنز يفهمها النموذج.
الشرح التفصيلي
كل نموذج له Tokenizer خاص يحدد كيف يُقطّع النصوص. النماذج الأحدث تستخدم Tokenizers أكثر كفاءة للعربية، مما يقلل التكلفة ويزيد كمية النص في نافذة السياق.
مصطلحات ذات صلة
الدورة المرتبطة بهذا المحتوى
تصميم السياق والذاكرة وسير العمل
اجعل المساعد يتذكر سياق عملك وينفّذ سلاسل مهام مترابطة.