Transformer Mimarisi: Dikkat Mekanizması Gerçekte Ne Yapıyor?

2017’de yayınlanan “Attention Is All You Need” makalesi, bugün kullandığımız hemen her büyük dil modelinin (GPT, Claude, Gemini, LLaMA) temelini oluşturan Transformer mimarisini tanıttı. Peki bu mimariyi bu kadar güçlü yapan şey nedir?

Önceki yaklaşımın sorunu

Transformer’dan önce metin işlemede RNN ve LSTM gibi mimariler kullanılıyordu. Bunlar cümleyi kelime kelime, sırayla işlerdi. Sorun şu: cümlenin başındaki bir kelimeyle sonundaki bir kelime arasındaki ilişkiyi kurmak, aradaki mesafe arttıkça zorlaşıyordu. Ayrıca sıralı işleme, paralelleştirmeyi (ve dolayısıyla hızı) kısıtlıyordu.

Dikkat (attention) mekanizması

Transformer’ın getirdiği temel fikir şu: bir kelimeyi işlerken, cümledeki tüm diğer kelimelere aynı anda bakıp hangilerinin o kelimeyle ne kadar “ilgili” olduğunu hesapla.

Somut bir örnek: “Banka faiz oranını düşürdü çünkü enflasyon geriledi” cümlesinde “o” zamiri olsaydı, model hangi kelimeye referans verdiğini anlamak için cümledeki diğer kelimelere “dikkat” eder. “Banka” kelimesine yüksek, “düşürdü” kelimesine daha düşük bir dikkat skoru verir.

Bu işlem matematiksel olarak her kelime için üç vektör üretilerek yapılır: Query (sorgu), Key (anahtar), Value (değer). Bir kelimenin sorgusu, diğer tüm kelimelerin anahtarlarıyla karşılaştırılır; benzerlik skorları, değer vektörlerinin ağırlıklı toplamını belirler.

Neden bu kadar etkili?

1. Uzun mesafeli ilişkiler: Cümlenin başı ile sonu arasındaki bağlantı, RNN’lerdeki gibi adım adım değil, doğrudan kurulur.
2. Paralelleştirme: Tüm kelimeler aynı anda işlenebildiği için eğitim, sıralı mimarilere göre çok daha hızlı GPU’larda ölçeklenir.
3. Çok başlı dikkat (multi-head attention): Model, aynı anda birden fazla “dikkat deseni” öğrenir; biri dilbilgisel ilişkilere, diğeri anlamsal ilişkilere odaklanabilir.

Büyük dil modelleriyle bağlantısı

GPT tarzı modeller, Transformer’ın yalnızca “decoder” (kod çözücü) kısmını kullanıp bir sonraki kelimeyi tahmin etmek üzere eğitilir. Milyarlarca parametre ve devasa metin verisiyle eğitildiğinde, bu basit “sıradaki kelimeyi tahmin et” görevi; dil bilgisi, akıl yürütme ve dünya bilgisini örtük olarak öğrenen bir sisteme dönüşür.

Transformer’ı anlamak, LLM’lerin neden bazen “halüsinasyon” gördüğünü, neden bağlam penceresinin (context window) sınırlı olduğunu ve prompt mühendisliğinin neden işe yaradığını anlamanın da temelini oluşturur. Platformdaki İleri: Derin Öğrenme & NLP yolunda bu mimariyi adım adım, kod yazarak işliyoruz.