Continuous Batching
Model sunucusunun tamamlanan isteklerin yerine yeni istekleri dinamik biçimde aynı hesaplama grubuna alması.
Sürekli yığınlama sabit batch yaklaşımına göre GPU kullanımını yükseltir ve kuyruk süresini azaltabilir. Farklı uzunluktaki üretimler aynı anda ilerler. Zamanlama politikası adalet, gecikme ve verim arasında denge kurar.
Member comments