Self-Attention
Bir dizideki her öğenin aynı dizideki diğer tüm öğelerle ilişkisini hesaplayan dikkat türü.
Öz-dikkat (self-attention), bir dizideki (örneğin bir cümledeki) her öğenin, aynı dizideki diğer tüm öğelerle olan ilişkisini eş zamanlı ve paralel biçimde hesaplayan bir dikkat mekanizması türüdür. Klasik dikkat mekanizmasından farkı, sorgu, anahtar ve değer vektörlerinin hepsinin aynı diziden türetilmesidir; yani model, bir cümledeki bir kelimeyi işlerken cümlenin kendisindeki diğer kelimelere bakarak o kelimenin bağlamsal anlamını günceller. Örneğin "banka" kelimesi "nehir kenarındaki banka oturdu" cümlesinde "nehir" ve "kenar" kelimelerine dikkat ederek doğru anlamı (oturma yeri) çıkarabilirken, farklı bir cümlede farklı bir anlama (finans kurumu) odaklanabilir.
Öz-dikkatin en büyük teknik avantajı paralelleştirilebilir olmasıdır: RNN'lerin aksine, dizideki tüm konumlar için dikkat hesabı aynı anda, matris çarpımlarıyla yapılabilir; bu da GPU'larda çok büyük hızlanma sağlar ve modelin çok uzun mesafeli bağımlılıkları -örneğin bir paragrafın başındaki özneyle sonundaki fiil arasındaki ilişkiyi- doğrudan yakalamasına imkân tanır. "Çoklu kafa" (multi-head) dikkat adı verilen teknikte, model aynı anda birden fazla öz-dikkat hesabı yaparak dilin farklı yönlerini (sözdizimsel, anlamsal) paralel biçimde öğrenir. Öz-dikkat, Transformer mimarisinin ve dolayısıyla günümüz büyük dil modellerinin işlem gücünün ve ölçeklenebilirliğinin doğrudan kaynağıdır.
Öz-dikkatin en büyük teknik avantajı paralelleştirilebilir olmasıdır: RNN'lerin aksine, dizideki tüm konumlar için dikkat hesabı aynı anda, matris çarpımlarıyla yapılabilir; bu da GPU'larda çok büyük hızlanma sağlar ve modelin çok uzun mesafeli bağımlılıkları -örneğin bir paragrafın başındaki özneyle sonundaki fiil arasındaki ilişkiyi- doğrudan yakalamasına imkân tanır. "Çoklu kafa" (multi-head) dikkat adı verilen teknikte, model aynı anda birden fazla öz-dikkat hesabı yaparak dilin farklı yönlerini (sözdizimsel, anlamsal) paralel biçimde öğrenir. Öz-dikkat, Transformer mimarisinin ve dolayısıyla günümüz büyük dil modellerinin işlem gücünün ve ölçeklenebilirliğinin doğrudan kaynağıdır.