Context Window
Bir dil modelinin tek seferde işleyebildiği maksimum token miktarı.
Bağlam penceresi, bir dil modelinin tek bir istek içinde aynı anda görebildiği ve dikkate alabildiği maksimum metin miktarını, yani token sayısını ifade eder; bu pencereye kullanıcının önceki mesajları, sistem talimatları ve yüklenen belgeler dahildir. Pencere ne kadar genişse, model o kadar uzun bir konuşma geçmişini veya kapsamlı bir dokümanı unutmadan referans alabilir; güncel modellerde bu sınır yüz binlerce token'a kadar çıkabilmektedir. Ancak pencere dolduğunda en eski bilgiler genellikle unutulur veya kesilir, bu yüzden çok uzun belgelerle çalışırken özetleme ya da vektör veritabanı gibi harici bellek çözümlerine başvurulur. Geniş bağlam penceresi, işlem maliyetini de orantılı olarak artırır.