Few-shot Learning
Modele birkaç örnek göstererek yeni bir görevi öğretme yöntemi.
Az örnekli öğrenme (few-shot learning), bir modele yeni bir görevi öğretmek için prompt içine, o görevin nasıl yapılması gerektiğini gösteren birkaç girdi-çıktı örneği yerleştirme yöntemidir. Model, ağırlıkları hiç güncellenmeden, yalnızca bu örneklere "bağlam içinde" (in-context) bakarak görevin kalıbını, beklenen format ve tonu çıkarır ve bunu yeni bir girdiye uygular. Örneğin bir modele önce iki veya üç İngilizce cümle ve bunların resmi Türkçe çevirisini gösterip ardından yeni bir cümle verildiğinde, model önceki örneklerin biçemini takip ederek benzer bir çeviri üretir. Bu, modelin eğitim sırasında kazandığı genel örüntü tanıma ve genelleme yeteneğinin doğrudan bir sonucudur.
Few-shot öğrenme, fine-tuning'e kıyasla çarpıcı biçimde hızlı ve düşük maliyetlidir: yeni bir model eğitmeye veya ağırlıkları güncellemeye gerek kalmadan, yalnızca prompt'u değiştirerek dakikalar içinde denenip ayarlanabilir. Örnek sayısı ve kalitesi sonucu doğrudan etkiler; genellikle birbirinden farklı ve temsili örnekler seçmek, modelin görevi doğru genellemesine yardımcı olur. Bununla birlikte örnekler prompt'un uzunluğunu artırdığından bağlam penceresi ve maliyet açısından bir sınır oluşturur; bu yüzden çok sayıda örnek veya çok karmaşık görevler için fine-tuning daha uygun bir seçenek olabilir.
Few-shot öğrenme, fine-tuning'e kıyasla çarpıcı biçimde hızlı ve düşük maliyetlidir: yeni bir model eğitmeye veya ağırlıkları güncellemeye gerek kalmadan, yalnızca prompt'u değiştirerek dakikalar içinde denenip ayarlanabilir. Örnek sayısı ve kalitesi sonucu doğrudan etkiler; genellikle birbirinden farklı ve temsili örnekler seçmek, modelin görevi doğru genellemesine yardımcı olur. Bununla birlikte örnekler prompt'un uzunluğunu artırdığından bağlam penceresi ve maliyet açısından bir sınır oluşturur; bu yüzden çok sayıda örnek veya çok karmaşık görevler için fine-tuning daha uygun bir seçenek olabilir.