Sigmoid Function

Sigmoid fonksiyonu, herhangi bir gerçek sayıyı 0 ile 1 arasına sıkıştıran, karakteristik S şeklindeki eğrisiyle bilinen bir aktivasyon fonksiyonudur. Çıktısı doğrudan bir olasılık gibi yorumlanabildiği için özellikle ikili sınıflandırma problemlerinde (örneğin bir e-postanın spam olup olmadığını belirlemek) çıktı katmanında tercih edilir. Ancak girdi değerleri çok büyük ya da çok küçük olduğunda eğrinin eğimi neredeyse sıfıra yaklaşır; bu da derin ağlarda geri yayılım sırasında gradyanların katmanlar arasında giderek zayıflayıp kaybolmasına, dolayısıyla eğitimin yavaşlamasına yol açabilir. Bu sınırlama nedeniyle gizli katmanlarda büyük ölçüde yerini ReLU gibi alternatiflere bırakmıştır.