Knowledge Distillation
Büyük ve karmaşık bir modelin bilgisinin daha küçük bir modele aktarılması süreci.
Bilgi damıtmada küçük 'öğrenci' model, büyük 'öğretmen' modelin çıktı olasılık dağılımlarını taklit ederek benzer performansı çok daha az hesaplama kaynağıyla elde etmeye çalışır.
Üye yorumları