Gradyan İnişi (Gradient Descent) Sezgisel Olarak Nasıl Çalışır?

Lineer regresyondan derin sinir ağlarına kadar neredeyse her makine öğrenmesi modeli, aynı temel algoritmayla “öğrenir”: gradyan inişi. Formüllere girmeden önce, sezgisel bir benzetmeyle başlayalım.

Sisli bir dağda vadiyi bulmak

Gözleriniz kapalı, sisli bir dağdasınız ve amacınız en alçak noktaya (vadiye) inmek. Tek yapabileceğiniz, bulunduğunuz noktada ayağınızın altındaki eğimi hissetmek ve en dik aşağı yönde bir adım atmak. Bu adımı tekrar tekrar yaparak, görmeden de olsa yavaş yavaş vadiye yaklaşırsınız.

Gradyan inişi tam olarak bunu yapar: “vadi” burada modelin hata değeridir (kayıp fonksiyonu), “konum” ise modelin ağırlıklarıdır. Algoritma, hatayı en çok azaltacak yönü (gradyan, yani türev) hesaplar ve ağırlıkları o yönde küçük bir miktar günceller.

Matematiksel özet (kısaca)

Her ağırlık için güncelleme kuralı şu şekilde özetlenebilir:

yeni_agirlik = eski_agirlik - ogrenme_orani * gradyan

• Gradyan: Hatanın o ağırlığa göre ne kadar hızlı değiştiğini gösterir.
• Öğrenme oranı (learning rate): Her adımda ne kadar büyük bir adım atılacağını belirleyen bir ayardır.

Öğrenme oranı neden kritik?

• Çok küçük öğrenme oranı: Vadiye iner ama çok yavaş; eğitim gereğinden fazla uzun sürer.
• Çok büyük öğrenme oranı: Adımlar o kadar büyük olur ki vadiyi “atlayıp” geçersiniz, hatta hata azalmak yerine artabilir.

Bu yüzden öğrenme oranı, bir modeli eğitirken ayarlanması gereken en önemli hiperparametrelerden biridir.

Yerel minimum tuzağı

Gerçek kayıp fonksiyonları, tek bir düz vadi değil, birçok küçük çukuru olan girintili çıkıntılı bir arazi gibidir. Algoritma bazen gerçek en düşük noktaya değil, yakındaki küçük bir çukura (yerel minimum) sıkışabilir. Modern optimizasyon algoritmaları (Adam, RMSprop gibi) bu sorunu azaltmak için momentum ve adaptif öğrenme oranı gibi teknikler kullanır.

Gradyan inişini anlamak, overfitting, öğrenme eğrileri ve model eğitiminin neden bazen “takılıp kaldığını” anlamanın temelini oluşturur. Platformdaki Orta: Makine Öğrenmesi öğrenim yolunda bu kavramı gerçek bir veri seti üzerinde, adım adım kod yazarak pekiştiriyoruz.