Bir sohbet aracına soru sormakla, dosyaları okuyabilen ve komut çalıştırabilen bir ajana görev vermek arasında önemli bir fark var. İlki sana bir cevap sunar. İkincisi, izin verdiğin ölçüde ortamında işlem de yapabilir.
Bu yüzden soru sadece “Doğru cevap verdi mi?” değil. “Neye erişebiliyor, neyi değiştirebiliyor ve hangi işlem için benden onay alıyor?” da olmalı.
Dışarıdan gelen metin talimat değildir
Bir ajanı bir depodaki sorunu çözmek için görevlendirdiğini düşün. Sorun açıklamasında veya okuduğu bir web sayfasında, asıl görevle ilgisiz bir komut yer alabilir: örneğin gizli bilgileri başka bir adrese göndermesini isteyen bir metin. Buna dolaylı istem enjeksiyonu denir.
OWASP’ın istem enjeksiyonu rehberi, dış içeriklerin güvenilmeyen veri olarak ele alınmasını ve araç izinlerinin modelin dışında da uygulanmasını öneriyor. Yalnızca “kötü talimatları dinleme” demek güvenlik sınırı değildir. Çünkü ajan, okuduğu her metnin sahibini ve niyetini güvenilir biçimde bilemeyebilir.
Yetkiyi iş kadar ver
Basit bir okuma görevi için ajanın üretim sunucusuna erişmesine veya dosya silmesine gerek yok. Başlangıç için şu sınırlar işe yarar:
- Görev yalnızca incelemeyse mümkün olduğunda salt okunur erişim kullan.
- Parolaları, erişim anahtarlarını ve kişisel verileri bağlama ekleme; aracın hangi dosyaları ve bilgileri gönderdiğini kontrol et.
- Komut çalıştırma, paket yükleme ve ağ erişimini ihtiyaçla sınırla. Mümkünse izole bir çalışma ortamı kullan.
- Mesaj gönderme, veri silme, ödeme veya yayınlama gibi geri dönüşü zor işlemlerden önce hedefi ve işlemin ayrıntılarını görüp açıkça onayla.
Bunlar riski sıfırlamaz. Ama bir hatanın veya kötü niyetli metnin erişebileceği alanı daraltır. OWASP’ın yapay zekâ ile güvenli kodlama rehberi de asgari yetki, izolasyon ve hassas işlemler için onay üzerinde duruyor.
İkna edici cevap, doğrulanmış cevap değildir
Ajan hiçbir araca erişmese bile yanılabilir. NIST’in üretken yapay zekâ risk profilinde sistemlerin yanlış bilgileri kendinden emin biçimde sunabilmesi ve uydurma kaynak gösterebilmesi bir risk olarak ele alınıyor. Bu nedenle kaynak bağlantısını açmak, iddianın gerçekten o kaynakta yer alıp almadığına bakmak gerekir.
Kod için de benzer bir alışkanlık yararlı: değişiklikleri gözden geçir, ilgili testleri çalıştır ve testlerin gerçekten beklenen davranışı ölçtüğünü sorgula. Araç hem kodu hem testi yazmışsa, ikisinin aynı yanlış varsayımı paylaşabileceğini unutma.
İyi bir asistan çok iş yapabilir. İyi bir çalışma düzeni ise nerede duracağını da belirler. Yetkiyi küçük tutmak ve önemli adımlarda kontrolü elde bırakmamak, yardım almanın tersine değil; onu daha güvenilir kılmaya yönelik bir tercih.