Overfitting

Aşırı öğrenme (overfitting), bir makine öğrenmesi modelinin eğitim verisindeki genel örüntülerin yanı sıra o veriye özgü gürültü, istisna ve rastgele ayrıntıları da ezberlemesi sonucunda, eğitim setinde çok yüksek başarım gösterirken daha önce görmediği yeni verilerde performansının belirgin biçimde düşmesi durumudur. Bu genellikle modelin kapasitesinin (parametre sayısının) eğitim verisinin karmaşıklığına ve miktarına kıyasla fazla olduğu, ya da modelin çok uzun süre eğitildiği durumlarda ortaya çıkar. Görsel olarak, aşırı öğrenmiş bir model eğitim verisi noktalarının hepsinden tam olarak geçen dolambaçlı bir eğri çizerken, iyi genelleyen bir model daha yumuşak ve temel eğilimi yakalayan bir eğri çizer.

Aşırı öğrenmeyi tespit etmenin standart yolu, veriyi eğitim ve doğrulama/test kümelerine ayırıp bu iki küme arasındaki başarım farkını izlemektir; eğitim başarımı yükselirken doğrulama başarımı düşmeye başlıyorsa bu net bir aşırı öğrenme işaretidir. Yaygın çözümler arasında düzenlileştirme (L1/L2 regularization), dropout (eğitim sırasında rastgele nöronları devre dışı bırakma), erken durdurma (early stopping), veri artırma (data augmentation) ve basitçe daha fazla ve çeşitli eğitim verisi toplamak yer alır. Aşırı öğrenme, gerçek dünyada güvenilir çalışan modeller geliştirmenin önündeki en temel ve en sık karşılaşılan zorluklardan biridir.