Gradient Descent
Kayıp fonksiyonunu en aza indirmek için model parametrelerini adım adım güncelleyen optimizasyon algoritması.
Gradyan inişi, kayıp fonksiyonunun eğimini (gradyanını) hesaplayarak parametreleri hatayı azaltacak yönde küçük adımlarla günceller. Öğrenme oranı bu adımların büyüklüğünü belirler; SGD, Adam gibi birçok varyantı vardır.
Üye yorumları