Low-Rank Adaptation
Büyük modelleri, tüm parametreleri değiştirmeden verimli şekilde ince ayar yapmaya olanak tanıyan teknik.
LoRA, modelin ana ağırlıklarını sabit tutup küçük, düşük ranklı ek matrisler eğiterek çok daha az bellek ve hesaplama ile özelleştirme yapılmasını sağlar.
Üye yorumları