Self-Attention
Bir dizideki her öğenin aynı dizideki diğer tüm öğelerle ilişkisini hesaplayan dikkat türü.
Öz-dikkat, cümledeki her kelimenin diğer kelimelerle bağlamsal ilişkisini eş zamanlı hesaplayarak modelin uzun mesafeli bağımlılıkları yakalamasını sağlar. Transformer'ların paralel işlem gücünün kaynağıdır.
Üye yorumları