Backpropagation
Sinir ağındaki hatayı çıktıdan girdiye doğru yayarak ağırlıkları güncelleyen eğitim algoritması.
Geri yayılım (backpropagation), bir sinir ağının tahmini ile gerçek değer arasındaki farkı (kayıp) hesaplayıp, bu hatanın kaynağını belirlemek için gradyanı ağ boyunca çıktı katmanından girdi katmanına doğru geriye yayan bir eğitim algoritmasıdır. Matematiksel temeli, kalkülüsteki zincir kuralına dayanır: toplam hatanın her bir ağırlığa göre türevi, o ağırlığın hataya ne kadar katkıda bulunduğunu gösterir. Bu türevler (gradyanlar) hesaplandıktan sonra, gradyan inişi gibi bir optimizasyon algoritması her ağırlığı hatayı azaltacak yönde küçük bir adım kadar günceller. Süreç, tüm eğitim verisi üzerinde tekrar tekrar (epoklar halinde) uygulanarak ağın hata oranı kademeli olarak düşürülür.
Geri yayılımın önemi, çok katmanlı (derin) ağlardaki milyonlarca hatta milyarlarca ağırlığı verimli biçimde güncelleyebilmesinden gelir; algoritma olmadan büyük ölçekli sinir ağlarının pratik eğitimi mümkün olmazdı. 1980'lerde popülerleşen bu yöntem, 2000'lerin sonunda GPU hesaplama gücü ve büyük veri kümeleriyle birleşince derin öğrenme devriminin fitilini ateşlemiştir. Bugün PyTorch ve TensorFlow gibi kütüphaneler, geri yayılımı "otomatik türev alma" (autodiff) mekanizmalarıyla otomatikleştirir; bu sayede araştırmacılar gradyan hesaplarını elle yazmak zorunda kalmadan karmaşık model mimarileri tasarlayabilir.
Geri yayılımın önemi, çok katmanlı (derin) ağlardaki milyonlarca hatta milyarlarca ağırlığı verimli biçimde güncelleyebilmesinden gelir; algoritma olmadan büyük ölçekli sinir ağlarının pratik eğitimi mümkün olmazdı. 1980'lerde popülerleşen bu yöntem, 2000'lerin sonunda GPU hesaplama gücü ve büyük veri kümeleriyle birleşince derin öğrenme devriminin fitilini ateşlemiştir. Bugün PyTorch ve TensorFlow gibi kütüphaneler, geri yayılımı "otomatik türev alma" (autodiff) mekanizmalarıyla otomatikleştirir; bu sayede araştırmacılar gradyan hesaplarını elle yazmak zorunda kalmadan karmaşık model mimarileri tasarlayabilir.