Batch
Eğitim sırasında modele aynı anda verilen örnek grubunun boyutu.
Yığın (batch), bir sinir ağının eğitimi sırasında ağırlıkların bir kez güncellenmesi için aynı anda modele beslenen eğitim örneklerinin sayısını ifade eden temel bir hiperparametredir. Teorik olarak tüm eğitim verisi tek bir yığın olarak kullanılabilir (batch gradient descent), ancak büyük veri kümelerinde bu hem bellek açısından pratik değildir hem de güncellemelerin çok seyrek yapılmasına yol açar. Bu yüzden pratikte verinin küçük alt gruplara -mini-batch'lere- bölünmesi ve her mini-batch sonrasında ağırlıkların güncellenmesi tercih edilir; bu yaklaşıma mini-batch stokastik gradyan inişi denir.
Yığın büyüklüğünün seçimi eğitim dinamiklerini doğrudan etkiler: küçük yığınlar (örneğin 8 veya 32 örnek) her adımda daha gürültülü ama daha sık gradyan güncellemeleri sağlar, bu da bazen modelin daha iyi genelleyen çözümlere ulaşmasına yardımcı olabilir; ayrıca daha az bellek gerektirir. Büyük yığınlar (örneğin 512 veya 1024 örnek) ise gradyan tahminini daha kararlı ve az gürültülü hale getirir, GPU'ların paralel işlem gücünden daha verimli faydalanılmasını sağlar, ancak çok daha fazla bellek tüketir ve bazen genelleme performansını olumsuz etkileyebilir. Büyük dil modellerinin eğitiminde kullanılan devasa yığın büyüklükleri, binlerce GPU'nun paralel çalıştığı dağıtık eğitim sistemlerini gerekli kılar.
Yığın büyüklüğünün seçimi eğitim dinamiklerini doğrudan etkiler: küçük yığınlar (örneğin 8 veya 32 örnek) her adımda daha gürültülü ama daha sık gradyan güncellemeleri sağlar, bu da bazen modelin daha iyi genelleyen çözümlere ulaşmasına yardımcı olabilir; ayrıca daha az bellek gerektirir. Büyük yığınlar (örneğin 512 veya 1024 örnek) ise gradyan tahminini daha kararlı ve az gürültülü hale getirir, GPU'ların paralel işlem gücünden daha verimli faydalanılmasını sağlar, ancak çok daha fazla bellek tüketir ve bazen genelleme performansını olumsuz etkileyebilir. Büyük dil modellerinin eğitiminde kullanılan devasa yığın büyüklükleri, binlerce GPU'nun paralel çalıştığı dağıtık eğitim sistemlerini gerekli kılar.