Attention Mechanism
Modelin bir çıktı üretirken girdinin hangi kısımlarına daha çok odaklanacağını belirleyen mekanizma.
Dikkat mekanizması (attention mechanism), bir modelin bir çıktı üretirken girdinin hangi kısımlarına ne kadar odaklanacağını dinamik olarak belirleyen, günümüz yapay zeka mimarilerinin en etkili yeniliklerinden biridir. Fikir ilk olarak makine çevirisinde ortaya atılmıştır: bir cümleyi başka bir dile çevirirken, çıktıdaki her kelime kaynak cümledeki tüm kelimelere eşit önem vermek yerine, o an ilgili olan belirli kelimelere daha fazla "dikkat" göstermelidir. Teknik olarak mekanizma, her girdi öğesine bağlama göre değişen bir ağırlık atar; bu ağırlıklar sorgu (query), anahtar (key) ve değer (value) vektörleri arasındaki benzerlik hesaplanarak elde edilir ve softmax fonksiyonuyla toplamı bire eşit olan bir olasılık dağılımına dönüştürülür.
Dikkat mekanizması, önceki tekrarlayan sinir ağlarının (RNN) sabit boyutlu bir "özet" vektörüne sıkıştırarak bilgi kaybettiği sorunu çözmüştür; artık model, uzun bir metnin başındaki bir bilgiye, sonundaki bir kelimeyi üretirken doğrudan ve doğrudan erişebilir. Bu yetenek, Transformer mimarisinin çekirdeğini oluşturur ve uzun belgelerde, kod dosyalarında veya çok adımlı konuşmalarda bağlamın tutarlı biçimde korunmasını sağlar. Dikkat mekanizması olmasaydı, bugünün büyük dil modellerinin uzun metinler arasında ilişki kurma ve tutarlı, bağlama duyarlı çıktılar üretme kapasitesi mümkün olmazdı.
Dikkat mekanizması, önceki tekrarlayan sinir ağlarının (RNN) sabit boyutlu bir "özet" vektörüne sıkıştırarak bilgi kaybettiği sorunu çözmüştür; artık model, uzun bir metnin başındaki bir bilgiye, sonundaki bir kelimeyi üretirken doğrudan ve doğrudan erişebilir. Bu yetenek, Transformer mimarisinin çekirdeğini oluşturur ve uzun belgelerde, kod dosyalarında veya çok adımlı konuşmalarda bağlamın tutarlı biçimde korunmasını sağlar. Dikkat mekanizması olmasaydı, bugünün büyük dil modellerinin uzun metinler arasında ilişki kurma ve tutarlı, bağlama duyarlı çıktılar üretme kapasitesi mümkün olmazdı.