Low-Rank Adaptation
Büyük modelleri, tüm parametreleri değiştirmeden verimli şekilde ince ayar yapmaya olanak tanıyan teknik.
Düşük Ranklı Adaptasyon (LoRA), devasa bir dil modelinin milyarlarca ana ağırlığını olduğu gibi sabit tutup, bunun yerine her katmana çok daha küçük, düşük ranklı ek matrisler ekleyerek modeli belirli bir görev veya üsluba özelleştiren verimli bir ince ayar tekniğidir. Bu yaklaşım sayesinde, geleneksel tam ince ayarın gerektirdiği devasa bellek ve hesaplama kaynağına ihtiyaç duymadan, tek bir güçlü GPU üzerinde bile özelleştirilmiş modeller eğitmek mümkün hale gelir. Eğitilen bu küçük ek matrisler, orijinal modelden ayrı, hafif dosyalar olarak saklanabilir ve gerektiğinde ana modele takılıp çıkarılabilir; bu da aynı temel modelden farklı göreve özel birçok LoRA eklentisi üretmeyi pratik kılar. Özellikle görsel üretim modellerinde stil özelleştirmesi için de yaygın kullanılır.