Yapay Zeka Güvenliği: Modeller Nasıl Kandırılır?

Yapay zeka modelleri, insan gözüyle fark edilemeyecek kadar küçük ama kasıtlı olarak tasarlanmış değişikliklerle kandırılabilir. Bu alana adversarial machine learning (çekişmeli makine öğrenmesi) denir ve yapay zeka güvenliğinin merkezinde yer alır.

Adversarial saldırı nedir?

Akademik çalışmalarda sıkça gösterilen bir örnek: bir görüntü sınıflandırma modeline bir panda fotoğrafı gösterilir, model doğru şekilde “panda” der. Fotoğrafa, insan gözünün fark edemeyeceği kadar küçük, özel olarak hesaplanmış bir gürültü eklendiğinde ise aynı model, görüntüyü yüksek bir güvenle “gibon” olarak sınıflandırabilir. Görüntü insana göre neredeyse hiç değişmemiştir.

Bu saldırılar rastgele değil; modelin karar sınırlarını matematiksel olarak analiz ederek, modeli en verimli şekilde yanıltacak değişikliği hesaplayarak üretilir.

Gerçek dünyadaki riskler

• Otonom araçlar: Trafik işaretlerine yapılan küçük fiziksel değişiklikler (çıkartma, boya), modelin işareti yanlış sınıflandırmasına yol açabilir.
• Yüz tanıma sistemleri: Özel tasarlanmış gözlük çerçeveleri veya makyaj desenleriyle sistemin kişiyi tanımasını engellemek veya başka biri sanmasını sağlamak.
• Spam/içerik filtreleri: Metne insan gözüyle anlamsız ama filtreyi atlatan küçük değişiklikler eklemek.
• Büyük dil modelleri: “Jailbreak” olarak bilinen, modelin güvenlik kısıtlamalarını atlatmak için tasarlanmış özel prompt’lar.

Savunma yaklaşımları

1. Adversarial eğitim: Modeli, eğitim sırasında kasıtlı olarak üretilmiş adversarial örneklerle de eğitmek; model bu tür saptırmalara karşı daha dayanıklı hale gelir.
2. Girdi doğrulama: Beklenmedik veya istatistiksel olarak anormal girdileri tespit edip reddetmek.
3. Ansambl modeller: Birden fazla farklı modelin oy birliğini kullanmak; bir saldırının tüm modelleri aynı anda kandırması daha zordur.
4. Düzenli kırmızı takım (red teaming) testleri: Modeli üretime almadan önce, kötü niyetli kullanım senaryolarıyla sistematik olarak test etmek.

Neden bu konu artık herkesi ilgilendiriyor?

Yapay zeka sistemleri kritik altyapılara (sağlık, finans, ulaşım) daha fazla entegre oldukça, bu sistemlere yönelik saldırılar teorik bir akademik ilgi alanı olmaktan çıkıp gerçek bir güvenlik mühendisliği problemi haline geldi. Bir modeli üretime almadan önce “bu model kötü niyetle nasıl kandırılabilir?” sorusunu sormak, artık MLOps sürecinin standart bir parçası olmalı.

Güvenlik ve sağlamlık (robustness) konuları, platformdaki Uzmanlık: MLOps & Üretim öğrenim yolunda model değerlendirme başlığı altında ele alınıyor.