Saat sabah 3. Siz uyurken ajanınız bir destek bileti kuyruğunu işliyordu. Biletlerden biri bir tırmanma gibi okunuyor, bu yüzden ajan bir özet yazıyor ve patronunuza e-postayla gönderiyor. Özet doğru. Dilbilgisi temiz. Sorun şu ki, kimse o e-postayı istemedi, kimse önce okumadı ve ajan göndermeye karar verdikten sonra hiçbir şey onu durduramazdı. Ajan, talimatlarının izin verdiği şeyi tam olarak yaptı. Sizi uykusuz bırakması gereken kısım budur.
En çok zarar veren hatalar, modelin halüsinasyon gördüğü veya sürecin çöktüğü hatalar değildir. Bunlar gürültülü hatalardır ve gürültülü hatalar fark edilir. Tehlikeli olanlar sessizdir. Ajan, kendisine söylenen şeyi tam olarak yapar ve sonuç yine de kötüdür, çünkü e-postayı göndermiş, kaydı silmiş veya siparişi vermiş ve modelin kararı ile canlı eylem arasında hiçbir şey olmamıştır.
Güvenlik bariyerleri tam da orada duranlardır. Bir güvenlik bariyeri, bir eylem gerçekleşmeden önce onu inceleyen ve izin verilip verilmeyeceğine, engellenip engellenmeyeceğine veya önce bir insana sorulup sorulmayacağına karar veren katmandır. Bu kılavuz, oluşturabileceğiniz dört türü (eylem izin listeleri, onay kapıları, kuru çalıştırma modu ve patlama yarıçapı sınırları) ve ardından çoğu ekibin atladığı adımı ele almaktadır: güvenlik bariyerinin çalıştığını kanıtlama. Daha geniş bir bağlam istiyorsanız, üretimde yapay zeka ajanlarının neden bozulduğu hakkındaki ana yazımız, ajan hatalarını beş türe ayırır ve eksik güvenlik bariyerleri beşincisidir.
Eylemleri ne kadar zarar verebileceklerine göre sıralayın
Her eylem bir kapı gerektirmez. Bir takvimi okuyan, bir tahmini getiren veya salt okunur bir raporu sorgulayan bir ajan, bir insan izlemeden tam hızda çalışabilir. Bunları onaylarla sarmak, ekibinizi düşünmeden "evet" tıklamaya alıştırır, bu da önemli olduklarında onayları değersiz kılar.
Bu nedenle, ilk güvenlik bariyeri bir sıralama işidir. Ajanınızın yapabileceği eylemleri iki listeye ayırın. İzin listesi, otomatik olarak çalıştırılması güvenli olan çağrıları içerir: okumalar, aramalar, tekrarlanabilir sorgular, geri alınabilir her şey. Diğer her şey bir kapı gerektirir: göndermeler, silmeler, ödemeler, kayıt sistemlerine yazmalar, bir müşterinin veya iş arkadaşının göreceği her şey. İkinci liste için faydalı bir test, "ajan bunu yanlışlıkla yüz kez yapsaydı, ne kadar kötü olurdu" sorusudur. Cevap omuz silkmeden daha kötüyse, o eylem izin listesine ait değildir.
Ara durumlarda dürüst olun. Bir taslak oluşturan bir `POST` geri alınabilir. Bir taslak oluşturan ve e-posta ile gönderen bir `POST` geri alınamaz. Kodunuzda benzer görünen iki çağrı, hattın karşıt taraflarında yer alabilir. HTTP fiiline göre değil, sonuca göre sıralayın.
Yıkıcı eylemler için sürece bir insan dahil edin
Hangi eylemlerin tehlikeli olduğunu bildiğinizde, bir sonraki güvenlik bariyeri bir onay kapısıdır: ajan eylemden önce duraklar, ne yapmak istediğini gösterir ve bir kişinin onaylamasını bekler. Bu, insan-döngüde modelidir ve ekleyebileceğiniz en yüksek değerli güvenlik bariyeridir, çünkü geri alınamaz bir hatayı reddedilmiş bir isteğe dönüştürür.
İyi bir kapı, insana karar vermesi için yeterince bilgi gösterir. "Ajan bir e-posta göndermek istiyor" değil, alıcı, konu ve gövde. "Bir kaydı sil" değil, hangi kayıt ve neden. Eylemi onaylayan geliştirici, ajanın ne yapacağı hakkındaki özetine asla güvenmek zorunda kalmamalıdır. Gerçek isteği gösterin.
Kapıyı "hayır" demenin ucuz olduğu şekilde tutun. Bir eylemi reddetmek yavaş veya belirsizse, insanlar refleks olarak onaylar ve baştaki güvenlik bariyeriniz olmaz. Anthropic SDK panolarında bir ajan eylem yapmadan önce bir insan onay adımı ekleme konusunda tekrarlayan bir tartışma var ve sürekli geri dönen tema, kapının okunaklı olması gerektiğidir: somut yükü göremeyen bir inceleyici gerçek bir karar veremez. Her onayı ve reddi de kaydedin. Bir şeyin gözden kaçması durumunda, hangi kapının başarısız olduğunu kayıtlar sayesinde bulursunuz.
Ajana bir kuru çalıştırma modu verin
Onay kapıları üretimi korur. Kuru çalıştırma modu, oraya varmadan önce güveninizi korur. Kuru çalıştırmada, ajan normalde yapacağı her şeyi yapar, aracı seçer, isteği oluşturur, argümanlara karar verir, ancak son adımda durur ve göndermek yerine ne göndereceğini rapor eder.
Bu, iki nedenden dolayı kendi anahtarına değerdir. Birincisi, ajanın yeni bir görevde nasıl davrandığını güvenli bir şekilde görmek için, canlı yan etkiler olmadan gerçek girdilere karşı tam bir ajan çalışmasını izlemenizi sağlar. İkincisi, ajanın niyetlerini incelenebilir hale getirir. Yapmak istediği her çağrının, sırasıyla, argümanlarla birlikte bir dökümünü alırsınız ve bunu bir plan gibi okuyabilirsiniz. Plan yanlışsa, bunu ücretsiz olarak öğrenmiş olursunuz. Bu amaçlanan çağrılar üzerinde özel bir yapay zeka ajan hata ayıklayıcısı görünümü, belirsiz "ajan garip bir şey yaptı" ifadesini, belirli "dördüncü adımda silme uç noktasına çağrı yapmaya çalıştı" ifadesine dönüştürür.
Kuru çalıştırma, onay kapısı ile aynı değildir ve ikisini de istersiniz. Kuru çalıştırma, hiçbir şeyin gerçek olmadığı geliştirme ve hazırlık ortamları içindir. Onay kapısı ise her şeyin gerçek olduğu üretim ortamı içindir.
Patlama yarıçapını sınırlayın
İzin listeleri, kapılar ve kuru çalıştırma, tek bir eylemin gerçekleşip gerçekleşmeyeceğine karar verir. Patlama yarıçapı sınırları ise, onayladığınız eylemler de dahil olmak üzere ajanın birçok eylemde ne kadar zarar verebileceğine karar verir. Bunlar toplam zararın üst sınırıdır.
Üç sınır, yükün çoğunu taşır. Kapsamlar: ajana yalnızca ihtiyacı olanlara dokunabilecek kimlik bilgileri verin. Bir projenin sorunlarını yöneten bir ajan, tüm organizasyon için bir yönetici anahtarı yerine o projeye özgü bir belirteç (token) tutmalıdır. Kotalar: bir eylemin bir zaman aralığında kaç kez çalışabileceğine üst sınır koyun, böylece takılı kalan bir döngü bin e-posta göndermek yerine bir duvara çarpar. Harcama sınırları: belirteçlere ve para maliyeti olan herhangi bir eyleme, görev başına ve gün başına katı bir üst sınır koyun, böylece kontrolden çıkan bir ajan size bir sonraki çeyreğe kadar fatura kesmek yerine kapalı kalır.
Bu sınırlar, daha ince bir güvenlik bariyerinin kaçırdığı durumlarda da güvenlik ağınızdır. Bir kapıdan sıyrılan bir ajan yine de kapsamını aşamaz. Bir sınırın çalıştığını bilmek için onu izlemeniz gerekir, bu nedenle her sınırı besleyen sayıları, eylem başına çağrıları, görev başına harcamayı, tavan yakınındaki hata oranlarını, herhangi bir üretim hizmetindeki API gözlemlenebilirliği ile yaptığınız gibi takip edin. OWASP, temel riski doğrudan adlandırır. "Aşırı Ajanlık" LLM uygulamaları için OWASP Top 10'da yer alır ve buradaki her sınır, bundan daha azını sağlamanın bir yoludur.
Bir güvenlik bariyeri nasıl test edilir
İşte rahatsız edici gerçek. Yukarıdaki her güvenlik bariyeri, kodunuzda yalnızca tehlikeli bir şey olmak üzereyken çalışan bir daldır. Bu dallar, tüm sistemdeki en az kullanılan yollardır, bu da onların sessizce bozulma olasılığını en yüksek yapar. Asla tetiklenmeyen bir kapı, tetiklenip göz ardı edilen bir kapı ile aynı görünür. Test etmediğiniz bir güvenlik bariyeri, sahip olmadığınız bir güvenlik bariyeridir.
Bunu canlı API'ye karşı test edemezsiniz, çünkü canlı API'ye karşı test etmek, isteyip istemediğinizi öğrenmek için gerçek e-postayı göndermek demektir. Yöntem, yan etkisi olan uç noktayı taklit etmek (mock) ve ajanın hangi yolu izlediğini doğrulamaktır.
Döngü şöyle görünür:
- Yıkıcı uç noktayı taklit edin (mock). Gerçek olana asla dokunulmaması için gönderme, silme veya ödeme API'sinin bir taklidini kurun. Taklit, aldığı şeyi kaydeder ve kendisine söylediğiniz yanıtı döndürür.
- Ajanı tehlikeli eylemde çalıştırın. Güvenlik bariyerini tetiklemesi gereken senaryo üzerinden ilerletin: tırmanma bileti, silme isteği, yüksek değerli sipariş.
- Sonuca değil, yola göre doğrulama yapın. Canlı uç nokta taklidinin sıfır çağrı aldığını ve bunun yerine onay isteğinin doğru yük ile tetiklendiğini kontrol edin. Geçiş koşulu "ajan gönderdi" yerine "ajan sordu" olmalıdır.
- Diğer yönü de test edin. Güvenli bir eylemi çalıştırın ve anlamsız bir onay olmadan doğrudan geçtiğini doğrulayın. Her şeyi engelleyen bir kapı, hiçbir şeyi engellemeyen bir kapı kadar bozuktur.
Şekil budur. API'lerinizi çağıran yapay zeka ajanlarını nasıl test edeceğinize dair kılavuzumuz tam kurulumu anlatır ve yapay zeka ajanları ve API testi için daha geniş yöntem, deterministik olmayan bir modelde hayatta kalan doğrulama kalıplarını kapsar. Unutulmaması gereken nokta: yan etkinin gerçekleşmediğini ve onayın gerçekleştiğini doğrulayın. Testiniz sadece başarılı yolu kontrol ederse, kapının bozulduğu gün geçecektir.
Apidog nerede işe yarar (ve nerede yaramaz)
Aracın işi hakkında net olun. Apidog bir ajan çerçevesi, bir model barındırıcısı, bir güvenlik bariyeri kütüphanesi veya bir değerlendirme platformu değildir. Ajanınızı oluşturmaz, çalıştırmaz veya hangi eylemlerin güvenli olduğuna karar vermez. İzin listesi, kapı, kuru çalıştırma anahtarı ve sınırlar sizin kodunuz ve orkestrasyon katmanınızın sorumluluğundadır.
Apidog'un sahip olduğu şey, bu güvenlik bariyerlerinin koruduğu API katmanıdır ve testlerin yapıldığı yer burasıdır. Yan etkisi olan uç noktaları (gönderme, silme, ücretlendirme) taklit edersiniz, böylece ajanınız tehlikeli bir eylemi gerçek bir sonuç olmadan prova edebilir. Bu taklitleri, hatalar da dahil olmak üzere canlı bir hizmetin vereceği yanıtları döndürecek şekilde programlarsınız. Ve ajanın ne gönderdiğini doğrulayarsınız: canlı çağrının sıfır trafik taşıdığını, onay isteğinin gönderildiğini, yükün eşleştiğini. İşte dürüst uyum budur. Apidog, ajanınızın çağırdığı API'leri test eder ve yıkıcı olanları taklit eder, böylece ajanın onay yolunu izlediğini kanıtlayabilirsiniz.
Sıkça sorulan sorular
İzin listesi ile onay kapısı arasındaki fark nedir? İzin listesi, hangi eylemlerin asla bir insana ihtiyaç duymadığına karar verir, böylece otomatik olarak çalışırlar. Onay kapısı ise, izin listesinde olmayan eylemlerin karşılaştığı şeydir: eylem gerçekleşmeden önce bir kişinin onayladığı bir duraklama. İzin listesi sıralar; kapı durdurur.
Güvenlik bariyerleri ajanı çok fazla yavaşlatır mı? Sadece yanlış şeyleri engellerseniz. Geri alınabilir okumaları izin listesinde tutun, böylece tam hızda çalışırlar ve kapıları pahalı veya geri alınması zor eylemler için ayırın. İyi sıralanmış bir izin listesi, çoğu adımın asla duraklamadığı anlamına gelir.
Gerçek API'leri çağırmadan güvenlik bariyerlerini test edebilir miyim? Evet ve etmelisiniz. Yan etkisi olan uç noktayı taklit edin, ajanı tehlikeli eylemde çalıştırın ve onay yolu tetiklenirken taklidin sıfır çağrı aldığını doğrulayın. Engellemeye çalıştığınız yan etkiyi tetiklemeden kapının çalıştığını kanıtlamanın yolu budur.
Önce neyi bir kapının arkasına koymalıyım? Geri alınması en zor olanı. Ödemeler, silmeler ve bir müşteriye veya iş arkadaşına ulaşan her şey. Yanlışlıkla yapılan tek bir tekrar gerçek bir hasara yol açacaksa, izin listesinde değil, bir kapının arkasında olmalıdır.
En yıkıcı eyleminizle başlayın
İlk günden itibaren dört güvenlik bariyerinin hepsine ihtiyacınız yok. Sizi en çok korkutan, bir olay incelemesinde açıklamaktan nefret edeceğiniz tek eylemi seçin ve bu hafta ona bir kapı koyun. Sonra testi yazın: uç noktayı taklit edin, ajanı çalıştırın ve hareket etmek yerine sorduğunu doğrulayın. Kapıyı ilk kırdığınızda o testin kırmızıya döndüğünü gördüğünüzde, güvenlik bariyerine gerçek bir nedenle güveneceksiniz, asla denenmediği için değil.
Apidog'u İndirin; yıkıcı uç noktaları taklit etmek, yanıtları programlamak ve ajanınızın canlı yol yerine onay yolunu izlediğini doğrulamak için.