Prefix Cache
Aynı token önekiyle başlayan model isteklerinin hesaplanmış anahtar-değer durumunu yeniden kullanma tekniği.
Önek önbelleği özellikle ortak sistem istemi ve uzun belge kullanan isteklerde ilk token gecikmesini azaltır. Önekteki küçük değişiklik eşleşmeyi bozabilir. Önbellek yaşam süresi ve tenant ayrımı güvenlik açısından önemlidir.
Üye yorumları