In-context Learning
Modelin, ağırlıkları güncellenmeden yalnızca promptta verilen örneklerden görevi öğrenmesi.
Bağlam içi öğrenme (in-context learning), büyük bir dil modelinin, kendi ağırlıklarında herhangi bir güncelleme yapılmadan, yalnızca istemin (prompt) içinde verilen birkaç örnekten yeni bir görevin kalıbını anlık olarak kavrayıp uygulayabilmesi yeteneğidir. Geleneksel makine öğrenmesinde bir modele yeni bir görev öğretmek için genellikle o görev için etiketlenmiş veriyle modelin parametrelerini yeniden eğitmek gerekirken, bağlam içi öğrenmede model, prompt içine yerleştirilen birkaç girdi-çıktı örneğini "okuyarak" görevin ne olduğunu çıkarır ve bu kalıbı yeni bir girdiye uygular; bu süreçte modelin dahili ağırlıkları hiç değişmez, tüm "öğrenme" tek bir ileri geçişte gerçekleşir.
Bu yetenek, GPT-3'ün tanıtılmasıyla dikkat çeken, model ölçeği yeterince büyüdüğünde kendiliğinden ortaya çıkan (emergent) bir özellik olarak kabul edilir; küçük modellerde bu yetenek zayıfken, milyarlarca parametreye sahip modellerde belirgin biçimde güçlenir. Bağlam içi öğrenme, pratikte çok değerlidir çünkü kullanıcıların her yeni görev için pahalı ve zaman alıcı bir yeniden eğitim sürecine girmeden, yalnızca birkaç örnek göstererek modeli anında yeni bir formata, üsluba veya sınıflandırma şemasına uyarlayabilmesini sağlar; bu da few-shot prompting tekniklerinin günümüz büyük dil modeli uygulamalarında bu kadar yaygın kullanılmasının temel nedenidir.
Bu yetenek, GPT-3'ün tanıtılmasıyla dikkat çeken, model ölçeği yeterince büyüdüğünde kendiliğinden ortaya çıkan (emergent) bir özellik olarak kabul edilir; küçük modellerde bu yetenek zayıfken, milyarlarca parametreye sahip modellerde belirgin biçimde güçlenir. Bağlam içi öğrenme, pratikte çok değerlidir çünkü kullanıcıların her yeni görev için pahalı ve zaman alıcı bir yeniden eğitim sürecine girmeden, yalnızca birkaç örnek göstererek modeli anında yeni bir formata, üsluba veya sınıflandırma şemasına uyarlayabilmesini sağlar; bu da few-shot prompting tekniklerinin günümüz büyük dil modeli uygulamalarında bu kadar yaygın kullanılmasının temel nedenidir.