Softmax Function
Bir vektördeki değerleri toplamı 1 olan olasılık dağılımına dönüştüren fonksiyon.
Softmax fonksiyonu, bir sinir ağının ham çıktı değerlerini (logit) alıp bunları toplamı tam olarak 1 eden, her biri 0 ile 1 arasında bir olasılık değeri taşıyan bir dağılıma dönüştürür. Bu özelliği sayesinde, örneğin bir görüntünün kedi, köpek veya kuş olma ihtimalini aynı anda hesaplayan çok sınıflı sınıflandırma modellerinin çıktı katmanında neredeyse standart bir bileşen haline gelmiştir. Büyük dil modellerinde de bir sonraki kelimenin/token'ın hangi olasılıkla üretileceğine karar verilirken softmax kullanılır; sıcaklık (temperature) parametresi bu dağılımı ne kadar kararlı ya da yaratıcı olacağı yönünde ayarlamaya yarar. Değerler arasındaki göreli farkları da orantılı şekilde korur.