Prompt Caching
Bir isteğin sabit kalan uzun kısımlarını (sistem talimatı, belge içeriği) sunucu tarafında önbelleğe alarak hem maliyeti hem gecikmeyi azaltan teknik.
Prompt caching (istem önbellekleme), aynı sistem talimatı, örnek küme veya referans belge gibi büyük ve tekrar eden bir bağlamın API sağlayıcı tarafında önbelleğe alınmasını ve sonraki isteklerde bu kısmın yeniden işlenmeden doğrudan kullanılmasını sağlayan bir optimizasyondur. Özellikle uzun belgelerle çalışan asistanlarda veya çok adımlı ajan döngülerinde, her istekte aynı büyük bağlamı yeniden göndermek hem maliyetli hem yavaştır; önbellekleme bu tekrar eden kısmın işlem maliyetini önemli ölçüde (bazı sağlayıcılarda %90'a varan oranda) düşürür ve yanıt süresini kısaltır.
Üye yorumları