Hyperparameter
Eğitim öncesinde belirlenen ve veriden öğrenilmeyen, modelin davranışını şekillendiren ayar değeri.
Hiperparametre, bir makine öğrenmesi modelinin eğitim verisinden otomatik olarak öğrenilmeyen, aksine eğitim süreci başlamadan önce insan tarafından belirlenen ve modelin nasıl öğreneceğini şekillendiren ayar değerleridir. Model parametreleri eğitim sırasında veriden öğrenilirken, hiperparametreler bu öğrenme sürecinin çerçevesini belirler: öğrenme oranı (learning rate, modelin her adımda ağırlıklarını ne kadar değiştireceği), yığın boyutu (batch size), katman sayısı ve genişliği, düzenlileştirme (regularization) katsayısı gibi ayarlar tipik hiperparametre örnekleridir.
Hiperparametrelerin doğru seçilmesi model performansını dramatik biçimde etkiler: çok yüksek bir öğrenme oranı modelin eğitim sırasında istikrarsız salınımlar yapmasına ve iyi bir çözüme hiç yakınsayamamasına yol açabilirken, çok düşük bir öğrenme oranı eğitimi gereksiz yere yavaşlatabilir veya modelin yerel bir minimumda sıkışmasına neden olabilir. Bu değerleri bulmak için ızgara araması (grid search), rastgele arama (random search) veya Bayesian optimizasyon gibi sistematik yöntemler kullanılır; bu süreç genellikle çapraz doğrulama ile birlikte yürütülerek, seçilen hiperparametrelerin genel olarak iyi sonuç verdiğinden emin olunur.
Hiperparametrelerin doğru seçilmesi model performansını dramatik biçimde etkiler: çok yüksek bir öğrenme oranı modelin eğitim sırasında istikrarsız salınımlar yapmasına ve iyi bir çözüme hiç yakınsayamamasına yol açabilirken, çok düşük bir öğrenme oranı eğitimi gereksiz yere yavaşlatabilir veya modelin yerel bir minimumda sıkışmasına neden olabilir. Bu değerleri bulmak için ızgara araması (grid search), rastgele arama (random search) veya Bayesian optimizasyon gibi sistematik yöntemler kullanılır; bu süreç genellikle çapraz doğrulama ile birlikte yürütülerek, seçilen hiperparametrelerin genel olarak iyi sonuç verdiğinden emin olunur.