Mixture of Experts / MoE
Girdiye göre yalnızca ilgili 'uzman' alt ağların etkinleştirildiği verimli model mimarisi.
MoE mimarisinde model, her girdi için tüm parametreleri değil yalnızca en uygun uzman alt ağları çalıştırarak büyük kapasiteyi daha düşük hesaplama maliyetiyle sunar.
Üye yorumları