بنية تحتية
زمن الاستجابة
Latency
الوقت بين إرسال الطلب وتلقّي أول توكن من الإجابة.
الشرح التفصيلي
Latency حرجة في التطبيقات التفاعلية. تتأثر بحجم النموذج، طول السياق، الموقع الجغرافي للخادم، وضغط الطلبات. النماذج الأصغر (Haiku, Flash, Mini) أسرع بكثير من الكبيرة.
مصطلحات ذات صلة
الدورة المرتبطة بهذا المحتوى
الذكاء الاصطناعي في الطب
تطبيقات عملية للكوادر الصحية مع حدود واضحة للاستخدام الآمن.