Knowledge Distillation
Büyük ve karmaşık bir modelin bilgisinin daha küçük bir modele aktarılması süreci.
Bilgi damıtma, büyük ve hesaplama açısından maliyetli bir "öğretmen" modelin öğrendiği bilgiyi, çok daha küçük ve hızlı çalışan bir "öğrenci" modele aktarma tekniğidir. Öğrenci model, yalnızca doğru etiketleri değil öğretmenin çıktı katmanındaki olasılık dağılımlarını (hangi cevaba ne kadar emin olduğunu) taklit etmeye çalışarak, çok daha az parametreyle benzer bir performans seviyesine ulaşmaya çabalar. Bu teknik, güçlü modellerin mobil cihazlarda veya düşük gecikmeli uygulamalarda çalıştırılabilir hale getirilmesinde sıkça kullanılır. Sonuç olarak damıtılmış modeller, orijinal modelin doğruluğuna tam olarak ulaşamasa da bellek ve hız açısından ciddi avantaj sunar.