Top-p / Top-k Sampling
Bir sonraki kelimeyi seçerken olasılık dağılımını sınırlayan örnekleme stratejileri.
Top-k ve top-p (nucleus sampling), bir dil modelinin bir sonraki kelimeyi seçerken olasılık dağılımını sınırlandırarak hem çeşitliliği hem tutarlılığı dengelemeyi amaçlayan iki örnekleme stratejisidir. Top-k örneklemede model, olasılığa göre sıralanmış kelimeler arasından yalnızca en olası k tanesini aday olarak alır, geri kalan tüm düşük olasılıklı kelimeleri tamamen eler ve seçimi bu sabit boyuttaki kümeden yapar. Bu yöntemin bir zayıflığı, dağılımın çok "sivri" olduğu durumlarda bile k kelimeyi zorla dahil etmesi, dağılımın çok "düz" olduğu durumlarda ise yeterince çeşitliliğe izin vermeyebilmesidir.
Top-p (nucleus sampling), bu sorunu, sabit bir sayı yerine kümülatif olasılığa göre dinamik bir eşik belirleyerek çözer: kelimeler olasılığa göre sıralanır ve kümülatif olasılıkları belirlenen p değerini (örneğin 0.9) aşana kadar kelimeler kümeye eklenir; seçim yalnızca bu "çekirdek" kümeden yapılır. Bu sayede dağılım sivriyse küme küçük, dağılım düzse küme daha büyük olur. İkisi de genellikle sıcaklık parametresiyle birlikte kullanılır ve modern büyük dil modeli API'lerinde geliştiricilerin çıktı çeşitliliğini ince ayar yapabilmesi için sunulan standart parametrelerdendir.
Top-p (nucleus sampling), bu sorunu, sabit bir sayı yerine kümülatif olasılığa göre dinamik bir eşik belirleyerek çözer: kelimeler olasılığa göre sıralanır ve kümülatif olasılıkları belirlenen p değerini (örneğin 0.9) aşana kadar kelimeler kümeye eklenir; seçim yalnızca bu "çekirdek" kümeden yapılır. Bu sayede dağılım sivriyse küme küçük, dağılım düzse küme daha büyük olur. İkisi de genellikle sıcaklık parametresiyle birlikte kullanılır ve modern büyük dil modeli API'lerinde geliştiricilerin çıktı çeşitliliğini ince ayar yapabilmesi için sunulan standart parametrelerdendir.