Jailbreak
Bir modelin güvenlik kısıtlamalarını atlatmak için özel olarak tasarlanmış prompt teknikleri.
Jailbreak, bir yapay zeka modelinin normalde reddedeceği zararlı, uygunsuz veya politika dışı içerikleri üretmesini sağlamak amacıyla özel olarak tasarlanmış prompt teknikleri ve manipülasyon yöntemlerini ifade eder. Bu girişimler genellikle modeli hayali bir rol yapmaya ikna etme, talimatları çok adımlı ve dolaylı bir bağlama gizleme veya modelin güvenlik eğitimindeki boşluklardan yararlanma gibi yaratıcı yollarla gerçekleştirilir. Jailbreak teknikleri kamuya açık hale geldikçe model geliştiricileri bu açıkları kapatmak için sürekli güvenlik güncellemeleri ve yeniden eğitim yapar; bu da model güvenliğinin bir kerelik değil, sürekli devam eden bir kedi-fare oyunu olduğunu gösterir. Red teaming çalışmaları, bu tür açıkları yayına çıkmadan önce tespit etmeyi amaçlar.