GGUF Yerel Dağıtım Planı
Yerel model kurulumunu donanım kapasitesine göre uygulanabilir hale getirir.
PROMPT
Verilen cihaz belleği, CPU, GPU ve kullanım senaryosuna göre uygun GGUF kuantizasyonunu seç. Model dosyası, bağlam uzunluğu, sohbet şablonu ve offload katmanları için başlangıç ayarları öner. Termal kısıtlama ve bellek taşmasını test edecek ölçüm adımları ekle.
Replace the bracketed fields with your own goal, audience and context.
Paste the prompt into the recommended tool; treat the first output as a draft.
Point out gaps, add examples, and define the output format you want more precisely.
Member comments