Speculative Decoding
Küçük bir taslak modelin önerdiği tokenları daha büyük modelle topluca doğrulayarak üretimi hızlandıran çıkarım tekniği.
Spekülatif kod çözmede hızlı bir yardımcı model birkaç olası token üretir, hedef model ise bu diziyi tek geçişte denetler. Kabul edilen tokenlar kaliteyi değiştirmeden gecikmeyi azaltır; başarım, iki modelin dağılımlarının ne kadar uyumlu olduğuna bağlıdır.
Üye yorumları