Transformer
Dikkat mekanizmasını temel alan, günümüz büyük dil modellerinin mimari temelini oluşturan sinir ağı yapısı.
2017'de 'Attention Is All You Need' makalesiyle tanıtılan Transformer mimarisi, dizideki her kelimenin diğer kelimelerle ilişkisini paralel şekilde hesaplayan öz-dikkat mekanizmasını kullanır. Bu sayede önceki RNN tabanlı modellere göre çok daha hızlı ve ölçeklenebilir eğitim mümkün olmuştur.
Üye yorumları