Token
Bir dil modelinin metni işlerken kullandığı en küçük anlam birimi.
Token, bir dil modelinin metni işlerken kullandığı en küçük anlam veya işlem birimidir. Bir token her zaman bir kelimeye karşılık gelmez; kısa ve sık kullanılan kelimeler tek bir token olabilirken, uzun veya nadir kelimeler birden fazla alt kelime parçasına (subword) bölünebilir; bazı durumlarda tek bir karakter veya noktalama işareti de bir token olabilir. Örneğin "yapay" tek bir token olabilirken, daha az yaygın bir kelime "yap" ve "##ay" gibi iki parçaya ayrılabilir. Bu alt kelime yaklaşımı, modelin sözlüğünde bulunmayan yeni veya nadir kelimeleri de işleyebilmesini sağlar.
Büyük dil modelleri metni doğrudan işlemez; önce tokenizasyon adı verilen bir süreçle metni token dizisine, ardından her token'ı sayısal bir kimliğe dönüştürür. Model bu token dizisi üzerinden bir sonraki token'ı tahmin ederek çalışır. Token kavramı pratik açıdan da kritik önem taşır: çoğu ticari yapay zeka API'sinin fiyatlandırması işlenen token sayısına göre yapılır, ve bir modelin "bağlam penceresi" -yani tek seferde işleyebileceği maksimum metin uzunluğu- de token cinsinden ölçülür. Genel bir kural olarak İngilizcede yaklaşık dört karakter bir token'a denk gelirken, Türkçe gibi eklemeli dillerde token sayısı kelime başına daha yüksek çıkabilir.
Büyük dil modelleri metni doğrudan işlemez; önce tokenizasyon adı verilen bir süreçle metni token dizisine, ardından her token'ı sayısal bir kimliğe dönüştürür. Model bu token dizisi üzerinden bir sonraki token'ı tahmin ederek çalışır. Token kavramı pratik açıdan da kritik önem taşır: çoğu ticari yapay zeka API'sinin fiyatlandırması işlenen token sayısına göre yapılır, ve bir modelin "bağlam penceresi" -yani tek seferde işleyebileceği maksimum metin uzunluğu- de token cinsinden ölçülür. Genel bir kural olarak İngilizcede yaklaşık dört karakter bir token'a denk gelirken, Türkçe gibi eklemeli dillerde token sayısı kelime başına daha yüksek çıkabilir.
Etkileşimli deney hazırlanıyor…