LLM Sunucu Yığınlama Ayarı
Model sunucusunun verimini tek bir ortalama gecikmeye bakmadan optimize eder.
PROMPT
Sürekli yığınlama kullanan bir model sunucusu için ayar deneyi tasarla. Kısa sohbet, uzun belge ve toplu üretim trafiğini ayrı yük profilleriyle çalıştır. Token/saniye, ilk token süresi, p99 gecikme ve adalet metriklerine göre kuyruk politikasını seç.
Replace the bracketed fields with your own goal, audience and context.
Paste the prompt into the recommended tool; treat the first output as a draft.
Point out gaps, add examples, and define the output format you want more precisely.
Member comments