Prompt Injection

Prompt enjeksiyonu, kötü niyetli talimatların bir web sayfası, e-posta veya belge gibi görünüşte masum bir girdi içine gizlenerek, bir modelin veya ajanın asıl görevinden saptırılıp saldırganın istediği eylemi gerçekleştirmesinin sağlanması saldırı türüdür. Bu tehdit özellikle internetten veri okuyan, e-posta özetleyen veya belge işleyen otonom AI ajanlarında ciddi bir risk oluşturur; çünkü model, kullanıcının kendi talimatı ile işlediği içerik içine gömülü talimatı ayırt etmekte zorlanabilir. Örneğin bir asistan, özetlemesi istenen bir web sayfasındaki gizli bir yönergeyi kullanıcı adına gerçek bir talimatmış gibi yürütebilir. Girdi doğrulama, kaynak ayrımı ve yetki sınırlandırma gibi guardrail teknikleri, bu riski azaltmak için geliştirilmektedir.