Self-Supervised Learning
Modelin, veri içindeki bir kısmı diğer kısımlardan tahmin ederek etiketsiz veriden öğrenmesi.
Kendiliğinden denetimli öğrenme, insan tarafından elle etiketlenmiş veriye ihtiyaç duymadan, modelin verinin bir kısmını diğer kısımlarından tahmin etmeye çalışarak kendi denetim sinyalini kendisinin oluşturduğu bir öğrenme yaklaşımıdır. Büyük dil modellerinin eğitimindeki en temel yöntem tam olarak budur: model, devasa miktarda etiketsiz metin üzerinde, bir cümledeki bir sonraki kelimeyi (ya da bazen cümlenin ortasındaki eksik bir kelimeyi) tahmin etmeye çalışarak dilin gramer yapısını, dünya bilgisini ve anlam ilişkilerini örtük biçimde öğrenir. Bu yaklaşım, tamamen etiketli veriye dayanan gözetimli öğrenme ile hiçbir etiket kullanmayan gözetimsiz öğrenme arasında bir köprü kurar ve internetteki devasa miktardaki ham metnin, eğitim verisi olarak kullanılabilir hale gelmesini sağlayan kritik gelişmelerden biri olmuştur.