Prompt Injection
Modelin güvenilir talimatlarını geçersiz kılmaya çalışan kötü niyetli istem tekniğidir.
İstem enjeksiyonu, kullanıcı metni veya işlenen içerik içine modelin sistem kurallarını aşmasını isteyen talimatlar yerleştirir. Özellikle araç kullanan ajanlarda veri sızıntısı ve yetkisiz işlem riski doğurur. Talimat ayrımı, en az yetki ve çıktı doğrulaması birlikte uygulanmalıdır.
Üye yorumları