Inference
Eğitilmiş bir modelin yeni girdiler üzerinde tahmin veya çıktı ürettiği aşama.
Çıkarım, eğitimi tamamlanmış, ağırlıkları artık sabitlenmiş bir modelin, daha önce görmediği yeni girdiler üzerinde tahmin veya çıktı ürettiği aşamadır. Eğitim aşamasının aksine bu süreçte modelin ağırlıkları güncellenmez; yalnızca ileri yönlü (forward pass) bir hesaplama yapılır ve sonuç doğrudan kullanıcıya sunulur. Bir sohbet uygulamasında yazdığınız her mesaja gelen yanıt, aslında arka planda gerçekleşen bir çıkarım işlemidir. Çıkarım maliyeti ve hızı, özellikle büyük ölçekte milyonlarca kullanıcıya hizmet veren sistemlerde eğitim maliyetinden çok daha kritik hale gelebilir; bu yüzden nicemleme, önbellekleme ve özel donanım (GPU/TPU) kullanımı gibi optimizasyon teknikleri bu aşamaya yöneliktir.