Long Short-Term Memory / LSTM
Uzun dizilerdeki bağımlılıkları daha iyi öğrenebilen gelişmiş RNN türü.
Uzun-kısa süreli bellek (Long Short-Term Memory, LSTM), klasik tekrarlayan sinir ağlarının (RNN) en büyük zayıflığı olan "kaybolan gradyan" sorununu çözmek amacıyla 1990'ların sonunda geliştirilmiş, daha gelişmiş bir RNN mimarisidir. LSTM'nin temel yeniliği, her hücrede bilgiyi kontrol eden üç "kapı" (gate) mekanizması içermesidir: unutma kapısı hangi eski bilginin bellek hücresinden atılacağına, giriş kapısı hangi yeni bilginin belleğe ekleneceğine, çıktı kapısı ise bellekteki hangi bilginin bir sonraki adıma aktarılacağına karar verir. Bu kapılar, ağın önemli bilgiyi uzun süre saklayabilmesini, önemsiz veya eski bilgiyi ise unutabilmesini sağlar; bu da klasik RNN'lerin aksine, gradyanların uzun diziler boyunca kaybolmadan akabilmesine imkân tanır.
Bu yetenek sayesinde LSTM, Transformer mimarisinin 2017'de yaygınlaşmasından önceki yıllarda, dil modelleme, makine çevirisi, konuşma tanıma ve el yazısı tanıma gibi sıralı veri gerektiren görevlerde uzun süre standart ve en başarılı yaklaşım olarak kullanılmıştır. Google'ın erken dönem çeviri sistemleri ve birçok konuşma asistanı LSTM tabanlı mimarilere dayanıyordu. Günümüzde büyük ölçekli görevlerde yerini paralelleştirilebilir ve daha uzun bağlamları daha etkili yakalayabilen Transformer'lara bırakmış olsa da, LSTM daha küçük ölçekli, kaynak kısıtlı veya gerçek zamanlı sıralı veri işleme uygulamalarında hâlâ kullanılmaya devam etmektedir.
Bu yetenek sayesinde LSTM, Transformer mimarisinin 2017'de yaygınlaşmasından önceki yıllarda, dil modelleme, makine çevirisi, konuşma tanıma ve el yazısı tanıma gibi sıralı veri gerektiren görevlerde uzun süre standart ve en başarılı yaklaşım olarak kullanılmıştır. Google'ın erken dönem çeviri sistemleri ve birçok konuşma asistanı LSTM tabanlı mimarilere dayanıyordu. Günümüzde büyük ölçekli görevlerde yerini paralelleştirilebilir ve daha uzun bağlamları daha etkili yakalayabilen Transformer'lara bırakmış olsa da, LSTM daha küçük ölçekli, kaynak kısıtlı veya gerçek zamanlı sıralı veri işleme uygulamalarında hâlâ kullanılmaya devam etmektedir.