Attention
Bir dizideki öğelerin birbirleriyle ilişkisini ağırlıklandırarak modelin hangi bilgiye odaklanacağını belirleyen yöntem.
Dikkat mekanizması, sorgu, anahtar ve değer temsilleri üzerinden her öğenin diğer öğelerle önem ilişkisini hesaplar. Transformer mimarisindeki öz-dikkat, dizinin farklı konumlarını paralel biçimde karşılaştırır. Uzun dizilerde standart dikkat maliyeti hızla arttığından seyrek, yerel ve doğrusal dikkat gibi verimli varyantlar geliştirilmiştir.
Member comments