Token
Bir dil modelinin metni işlerken kullandığı en küçük anlam birimi.
Token'lar kelime, kelime parçası veya karakter olabilir; dil modelleri metni bu birimlere ayırarak (tokenizasyon) işler. Model fiyatlandırması ve bağlam penceresi genellikle token sayısına göre hesaplanır.
Etkileşimli deney hazırlanıyor…
Üye yorumları