Recurrent Neural Network / RNN
Sıralı verideki bağımlılıkları yakalamak için önceki adımların bilgisini taşıyan sinir ağı türü.
Tekrarlayan sinir ağı (Recurrent Neural Network, RNN), metin, konuşma veya zaman serisi gibi sıralı verilerdeki bağımlılıkları yakalamak için tasarlanmış bir sinir ağı türüdür. Standart ileri beslemeli ağlardan farklı olarak RNN, her adımda yalnızca o anki girdiyi değil, bir önceki adımdan taşınan "gizli durum" (hidden state) adı verilen bir bellek vektörünü de girdi olarak kullanır. Bu sayede ağ, dizinin önceki bölümlerinde işlenen bilgiyi bir nevi hatırlayarak sonraki tahminlerinde kullanabilir; örneğin bir cümledeki bir zamirin hangi isme atıfta bulunduğunu anlamak için önceki kelimelere ihtiyaç duyulur.
Ancak klasik RNN'lerin ciddi bir zayıflığı vardı: geri yayılım sırasında gradyanlar uzun diziler boyunca ya çok küçülüp kayboluyor ya da patlıyordu (vanishing/exploding gradient problemi), bu da ağın uzun mesafeli bağımlılıkları öğrenmesini pratikte imkânsız hale getiriyordu. Bu sorun kısmen LSTM ve GRU gibi kapı mekanizmalı gelişmiş RNN varyantlarıyla hafifletilmiş olsa da, asıl çözüm 2017'de Transformer mimarisinin öz-dikkat mekanizmasıyla gelmiştir; bu mimari, bilgiyi sıralı olarak taşımak yerine tüm diziye doğrudan ve paralel erişim sağladığından hem daha hızlı eğitilebilir hem de çok daha uzun bağımlılıkları yakalayabilir. Bu nedenle RNN'ler günümüz büyük dil modellerinde büyük ölçüde Transformer'lara yerini bırakmış, ancak sıralı veri işlemenin kavramsal temelini oluşturmaya devam etmektedir.
Ancak klasik RNN'lerin ciddi bir zayıflığı vardı: geri yayılım sırasında gradyanlar uzun diziler boyunca ya çok küçülüp kayboluyor ya da patlıyordu (vanishing/exploding gradient problemi), bu da ağın uzun mesafeli bağımlılıkları öğrenmesini pratikte imkânsız hale getiriyordu. Bu sorun kısmen LSTM ve GRU gibi kapı mekanizmalı gelişmiş RNN varyantlarıyla hafifletilmiş olsa da, asıl çözüm 2017'de Transformer mimarisinin öz-dikkat mekanizmasıyla gelmiştir; bu mimari, bilgiyi sıralı olarak taşımak yerine tüm diziye doğrudan ve paralel erişim sağladığından hem daha hızlı eğitilebilir hem de çok daha uzun bağımlılıkları yakalayabilir. Bu nedenle RNN'ler günümüz büyük dil modellerinde büyük ölçüde Transformer'lara yerini bırakmış, ancak sıralı veri işlemenin kavramsal temelini oluşturmaya devam etmektedir.