Weight Quantization
Model ağırlıklarını daha düşük bit genişliğinde temsil ederek bellek ve hesaplama ihtiyacını azaltma işlemi.
Ağırlık kuantizasyonu FP16 değerlerini INT8, INT4 veya başka sıkıştırılmış biçimlere dönüştürür. Model daha küçük donanımda çalışabilir; kalite kaybı katman ve görev türüne göre değişir. Kalibrasyon ve görev testi gereklidir.
Üye yorumları