Perplexity
Bir dil modelinin bir metin dizisini ne kadar iyi tahmin ettiğini ölçen istatistiksel metrik.
Perplexity (karmaşıklık), bir dil modelinin bir metin dizisini ne kadar iyi tahmin ettiğini ölçen, bilgi teorisinden türetilmiş istatistiksel bir metriktir. Matematiksel olarak, modelin test verisine atadığı olasılığın negatif log-ortalamasının üssü alınarak hesaplanır; sezgisel olarak, modelin her adımda bir sonraki kelimeyi seçerken ortalama kaç seçenek arasında tereddüt ettiğini ifade eder. Örneğin bir modelin perplexity değeri 20 ise, bu model her kelimeyi tahmin ederken ortalama olarak 20 eşit olasılıklı seçenek arasından seçim yapıyormuş gibi kararsız kalıyor demektir; değer ne kadar düşükse model o kadar emin ve isabetli tahminler yapıyor demektir.
Perplexity, özellikle dil modellerinin eğitim sürecinde ilerlemeyi izlemek ve farklı modelleri veya mimarileri objektif biçimde karşılaştırmak için yaygın kullanılan bir ölçüttür; GPT ve BERT gibi modellerin geliştirilme sürecinde sürekli izlenen temel metriklerden biridir. Ancak düşük perplexity her zaman modelin insan tarafından daha iyi bulunacağı anlamına gelmez; bu nedenle günümüzde büyük dil modelleri, perplexity'nin yanı sıra insan geri bildirimine dayalı değerlendirmeler veya görev bazlı ölçütlerle (soru cevaplama doğruluğu, akıl yürütme testleri) de değerlendirilir.
Perplexity, özellikle dil modellerinin eğitim sürecinde ilerlemeyi izlemek ve farklı modelleri veya mimarileri objektif biçimde karşılaştırmak için yaygın kullanılan bir ölçüttür; GPT ve BERT gibi modellerin geliştirilme sürecinde sürekli izlenen temel metriklerden biridir. Ancak düşük perplexity her zaman modelin insan tarafından daha iyi bulunacağı anlamına gelmez; bu nedenle günümüzde büyük dil modelleri, perplexity'nin yanı sıra insan geri bildirimine dayalı değerlendirmeler veya görev bazlı ölçütlerle (soru cevaplama doğruluğu, akıl yürütme testleri) de değerlendirilir.