Attention Mechanism
Modelin bir çıktı üretirken girdinin hangi kısımlarına daha çok odaklanacağını belirleyen mekanizma.
Dikkat mekanizması, her girdi öğesine bir ağırlık atayarak modelin ilgili bağlamı önceliklendirmesini sağlar. Transformer mimarisinin çekirdeğini oluşturur ve uzun metinlerde bağlamı korumaya yardımcı olur.
Üye yorumları