Dropout
Eğitim sırasında rastgele nöronları devre dışı bırakarak aşırı öğrenmeyi azaltan düzenlileştirme tekniği.
Dropout, sinir ağı eğitimi sırasında her adımda rastgele seçilen bir nöron grubunu geçici olarak devre dışı bırakan, oldukça basit ama etkili bir düzenlileştirme (regularization) tekniğidir. Böylece ağ, belirli birkaç nörona aşırı bağımlı hale gelip yalnızca eğitim verisini ezberlemek yerine, farklı nöron kombinasyonlarıyla da doğru sonuca ulaşmayı öğrenmeye zorlanır. Bu durum pratikte, aynı anda birçok farklı, daha küçük ağın eğitilip sonuçlarının ortalamasının alınmasına benzer bir etki yaratır ve modelin görmediği yeni verilerdeki genelleme performansını belirgin biçimde artırır. Dropout yalnızca eğitim sırasında uygulanır; test veya çıkarım aşamasında tüm nöronlar aktif kalır.