Chunking
Uzun bir belgeyi, işlenebilir küçük anlamlı parçalara bölme işlemi.
Parçalama (chunking), uzun bir metni veya belgeyi, daha küçük, işlenebilir ve anlamsal bütünlüğü olabildiğince korunmuş parçalara bölme işlemidir. Bu işlem özellikle büyük dil modellerinin sınırlı bir bağlam penceresine (context window) sahip olmasından kaynaklanan pratik bir ihtiyaçtan doğar: bir modelin tek seferde işleyebileceği metin miktarı sınırlıdır, bu yüzden yüzlerce sayfalık bir belgenin tamamı doğrudan modele verilemez. Parçalama, belgeyi cümle, paragraf veya sabit karakter/token sayısı gibi ölçütlere göre bölerken, mümkün olduğunca anlamlı bir bütünlüğü korumaya çalışır; parçalar arasında bir miktar örtüşme bırakmak da bağlamın parça sınırlarında kaybolmasını önlemeye yardımcı olur.
Parçalama, özellikle Retrieval-Augmented Generation (RAG) sistemlerinin kurulmasında kritik bir ön işleme adımıdır: belgeler önce parçalara ayrılır, her parça bir embedding vektörüne dönüştürülüp bir vektör veritabanına kaydedilir; bir sorgu geldiğinde, anlamca en ilgili parçalar bulunup dil modelinin bağlamına eklenir. Parça boyutunun seçimi önemli bir mühendislik kararıdır: çok küçük parçalar bağlamı yeterince taşımayabilir ve anlamı parçalayabilir, çok büyük parçalar ise hem bağlam penceresini gereksiz doldurur hem de anlamsal aramanın hassasiyetini düşürebilir.
Parçalama, özellikle Retrieval-Augmented Generation (RAG) sistemlerinin kurulmasında kritik bir ön işleme adımıdır: belgeler önce parçalara ayrılır, her parça bir embedding vektörüne dönüştürülüp bir vektör veritabanına kaydedilir; bir sorgu geldiğinde, anlamca en ilgili parçalar bulunup dil modelinin bağlamına eklenir. Parça boyutunun seçimi önemli bir mühendislik kararıdır: çok küçük parçalar bağlamı yeterince taşımayabilir ve anlamı parçalayabilir, çok büyük parçalar ise hem bağlam penceresini gereksiz doldurur hem de anlamsal aramanın hassasiyetini düşürebilir.