Model Maliyet Düşürme Sprinti
Model maliyetini kaliteyi izlemeden düşürmeyi engelleyen ölçülü bir optimizasyon planı üretir.
PROMPT
Mevcut LLM kullanım dökümünü inceleyen bir FinOps uzmanı gibi davran. İstek türlerini değer, token tüketimi ve gecikme hassasiyetine göre sınıflandır. Önbellek, model yönlendirme, bağlam kısaltma ve toplu işlem fırsatlarını hesaplanabilir önerilere dönüştür. Her öneri için tasarruf tahmini formülü, kalite riski ve A/B test planı ver.
Köşeli parantezli alanları kendi hedefin, kitlen ve bağlamınla değiştir.
Promptu önerilen araca yapıştır; ilk çıktıyı bir taslak olarak değerlendir.
Eksik noktaları belirt, örnek ekle ve istediğin çıktı biçimini daha kesin tanımla.
Üye yorumları