Cache-Augmented Generation
Sık kullanılan bağlam parçalarını yeniden işlememek için önceden hesaplanan temsil veya prompt önbelleklerinden yararlanan üretim yaklaşımı.
Önbellek destekli üretim, değişmeyen sistem talimatları ve büyük belgeler için hesaplanan ara durumları tekrar kullanarak maliyet ile gecikmeyi düşürür. İçerik güncellendiğinde önbelleğin geçersiz kılınması, eski bilginin yanıta sızmasını önler.
Member comments