Large Language Model / LLM

Büyük dil modelleri (LLM), milyarlarca hatta trilyonlarca parametreye sahip, genellikle Transformer mimarisi üzerine kurulu ve devasa miktarda metin verisiyle eğitilmiş yapay sinir ağlarıdır. Eğitim sırasında model, bir cümledeki bir sonraki kelimeyi (ya da token'ı) tahmin etmeye çalışır; bu görünüşte basit görev, internet ölçeğinde milyonlarca kitap, makale ve web sayfası üzerinde tekrarlandığında modelin dilbilgisi, dünya bilgisi, akıl yürütme kalıpları ve hatta belirli bir düzeyde mantıksal çıkarım yeteneği geliştirmesini sağlar. Ön eğitim sonrası genellikle insan geri bildirimiyle pekiştirmeli öğrenme (RLHF) gibi hizalama teknikleriyle model, yararlı, zararsız ve talimatlara uygun cevaplar verecek şekilde ince ayardan geçirilir.

Büyük dil modelleri günümüzde soru cevaplama, metin özetleme, çeviri, kod yazma, yaratıcı yazarlık ve karmaşık akıl yürütme gerektiren görevlerde kullanılmaktadır. GPT ailesi, Claude ve Gemini bilinen örnekler arasındadır. Bu modellerin en dikkat çekici özelliği, açıkça eğitilmedikleri görevlerde bile "ortaya çıkan" (emergent) yeteneklerle başarı gösterebilmeleridir; bu da onları klasik, tek göreve özel yapay zeka sistemlerinden ayırır. Aynı zamanda halüsinasyon üretme, güncel olmayan bilgiye dayanma ve yüksek hesaplama maliyeti gibi önemli sınırlılıkları da vardır ve bu sınırlılıklar RAG ve fine-tuning gibi tekniklerle hafifletilmeye çalışılır.