“Fonksiyonel test vs otomatik test”, QA’da en yaygın karşılaştırmalardan biridir ve bu bir hataya dayanmaktadır. Bu iki terim zıt anlamlı değildir. Tamamen farklı şeyleri tanımlarlar ve birini diğeri olmadan veya ikisini birden yapabilirsiniz. Onları bir seçim, yani fonksiyonel *ya da* otomatik olarak ele almak, ekipleri yanlış test stratejisi oluşturmaya yönlendirir.
Bu rehber, iki terimi birbirinden ayırır, ait oldukları iki ayrı ekseni açıklar ve her birinin gerçek bir API test iş akışına nerede uyduğunu gösterir.
Kategori hatası
Karışıklık, iki farklı sorunun cevaplarını karşılaştırmaktan kaynaklanır.
Fonksiyonel test şu soruyu yanıtlar: ne test ediyoruz? Yazılımın yapması gerekeni, yani özelliklerini, davranışını, çıktılarını yapıp yapmadığını test eder.
Otomatik test şu soruyu yanıtlar: testi nasıl çalıştırıyoruz? Adımları bir insan eliyle gerçekleştirmek yerine yazılım araçlarıyla testleri çalıştırır.
Bunlar birbirinden bağımsızdır. “Ne test ettiğiniz” ve “nasıl çalıştırdığınız” ayrı eksenlerdir. Bir fonksiyonel test manuel veya otomatik olarak çalıştırılabilir. Otomatik bir test, fonksiyonel davranışı veya performans gibi fonksiyonel olmayan davranışı kontrol edebilir. Dolayısıyla gerçek karşılaştırma fonksiyonel ve otomatik değildir; bunlar birlikte anılmaya devam eden iki farklı boyuttur.
Bunu anladığınızda, “fonksiyonel test mi yoksa otomatik test mi yapmalıyız?” sorusu anlamsız hale gelir. Doğru sorular şunlardır: neyi test etmeliyiz ve bu testlerden hangilerini otomatikleştirmeliyiz?
Fonksiyonel test nedir
Fonksiyonel test, bir uygulamanın her özelliğinin gereksinimlerine göre davrandığını doğrular. Genellikle kara kutu testidir: test uzmanı, dahili koda bakmadan girdileri ve çıktıları kontrol eder. Özelliğe bir girdi verilir, çıktı gözlemlenir ve gereksinimin olması gerektiğini söylediğiyle karşılaştırılır.
Bir API için fonksiyonel test, bir uç noktanın doğru veriyi, doğru durum kodunu ve doğru hata yanıtlarını döndürdüğünü doğrulamak anlamına gelir. POST /orders bir sipariş oluşturur mu? Geçersiz bir yükü 400 ile reddeder mi? Yanıt belgelenmiş şemayla eşleşiyor mu? Bunlar fonksiyonel kontrollerdir ve gerçek yanıtı beklenen yanıtla karşılaştıran API iddialarına dayanır.
Fonksiyonel testin gücü doğrudan alaka düzeyidir: kullanıcıların gerçekten önem verdiği şeyi, yani özelliğin çalışıp çalışmadığını kontrol eder. Sınırı kapsamdır. Yalnızca fonksiyonel test hız, yük altında kararlılık veya güvenlik hakkında hiçbir şey söylemez. Bir uç nokta fonksiyonel olarak mükemmel olabilir ve yine de trafik altında çökebilir; bu boşluğu performans testi kapatır. Fonksiyonel test gereklidir, ancak resmin tamamı değildir.
Fonksiyonel testin zıttı, terimin doğru karşılığı olan, “otomatik test” değil, fonksiyonel olmayan testtir: performans, yük, güvenlik, kullanılabilirlik.
Otomatik test nedir
Otomatik test, bir kişinin adımları manuel olarak tıklaması yerine, testleri yürütmek ve sonuçları kontrol etmek için araçlar ve komut dosyaları kullanır. Bir testi bir kez, girdileri ve beklenen çıktıları ile tanımlarsınız ve araç onu isteğe bağlı olarak, bir zamanlamaya göre veya her kod değişikliğinde çalıştırır.
Otomatik testin zıttı, bir insanın her adımı gerçekleştirdiği manuel testtir. Bu, terimin doğru karşılığıdır.
Otomasyonun değeri tutarlılık ve ölçeklenebilirliktir. Bir makine bininci testi tıpkı ilki gibi çalıştırır ve asla yorulmaz. Regresyon testini her commit'te çalıştıracak kadar ucuz hale getirir. Maliyeti, otomatik testlerin yazılması ve bakımı gerektiğidir ve yargıda bulunamazlar, sadece onlara beklemeleri söylenen şeyi kontrol ederler. Daha derinlemesine bir açıklama otomatik test nedir makalesinde yer almaktadır.
En önemlisi, otomasyon bir test türü değil, bir teslimat mekanizmasıdır. Fonksiyonel, performans, güvenlik gibi *bir tür* testi otomatikleştirirsiniz. “Otomatik test” tek başına neyin kontrol edildiğini söylemez.
İki eksen nasıl birleşir
İki ekseni bir araya getirdiğinizde, pratikte var olan dört gerçek kategori elde edersiniz.
| Fonksiyonel | Fonksiyonel Olmayan | |
|---|---|---|
| Manuel | Bir test uzmanı, bir ödeme akışının çalıştığını doğrulamak için tıklar | Bir test uzmanı, kullanıcı arayüzünün duyarlı olup olmadığını değerlendirir |
| Otomatik | Bir komut dosyası bir uç noktayı çağırır ve yanıtın doğru olduğunu doğrular | Bir yük testi 500 sanal kullanıcıyı sürer ve gecikmeyi ölçer |
Her hücre meşru, yaygın bir test türüdür. Sol üstteki, manuel fonksiyonel test, çoğu insanın "test" duyduğunda hayal ettiğidir. Sol alttaki, otomatik fonksiyonel test, modern bir API test paketinin çoğunluğudur: özellikleri otomatik olarak kontrol eden komut dosyaları veya senaryolar. Sağ sütun, her iki şekilde de yapılan fonksiyonel olmayan çalışmadır.
Dolayısıyla anlamlı kararlar “fonksiyonel mi yoksa otomatik mi” değildir. Bunlar şunlardır:
- Hangi davranışları test etmeli: hem fonksiyonel hem de fonksiyonel olmayan testler kapsamlı olmalıdır.
- Hangi testler otomatikleştirilmeli: kararlı, tekrarlayan, yüksek değerli olanlar; keşif ve yargıya dayalı kontrolleri manuel bırakın.
Bir test herhangi bir hücrede yer alabilir ve sağlıklı bir strateji dördünü de kullanır.
Bunun API testindeki yeri
API testleri, iki eksenin en net şekilde hizalandığı yerdir, çünkü API'ler otomatik fonksiyonel testlere çok uygundur.
Bir API'nin açık bir sözleşmesi, yapılandırılmış istekleri ve yanıtları vardır ve render edilecek bir kullanıcı arayüzü yoktur. Bu, fonksiyonel davranışını bir komut dosyasıyla kontrol etmeyi ve hassas bir şekilde doğrulamayı kolaylaştırır. Dolayısıyla API'ler için fonksiyonel testlerin büyük bir kısmı otomatikleştirilmelidir. Bir araç her commit'te bunu yapabilirken, aynı isteği manuel olarak tekrar göndermek ve yanıtı yüzlerce kez gözle kontrol etmek için çok az neden vardır.
Pratik bir API test yaklaşımı şuna benzer. Fonksiyonel kontroller, durum kodları, yanıt gövdeleri, şema uyumluluğu, hata biçimleri test senaryoları olarak yazılır ve test senaryolarında gruplandırılır. Bunlar, her değişiklikte CI/CD aracılığıyla otomatik olarak çalışır. Yük ve performans gibi fonksiyonel olmayan kontroller de bir zamanlamaya göre otomatik olarak çalışır. Manuel çaba, keşif testine ve API'nin sorunu gerçekten çözdüğünü doğrulamaya, yani komut dosyalarının değil, yargının yapması gereken doğrulama çalışmalarına harcanır.
Neleri otomatikleştirmeli ve neleri manuel tutmalı
İki ekseni net bir şekilde görmek, gerçekten önemli olan şu soruya yol açar: çalıştırabileceğiniz tüm fonksiyonel testlerden hangileri otomasyonu hak ediyor? Her şeyi otomatikleştirmek israfa yol açar ve yanlış şeyleri otomatikleştirmek yavaş, kırılgan bir süit üretir. Birkaç kural yardımcı olur.
Tekrarlayan ve kararlı olanı otomatikleştirin. Önümüzdeki iki yıl boyunca her commit'te çalıştıracağınız fonksiyonel bir kontrol, mükemmel bir otomasyon adayıdır. Yazım maliyeti yüzlerce kez geri ödenir. Eski özelliklerin hala çalıştığını doğrulayan kontroller olan regresyon testleri, en açık örnektir.
Yüksek değerli yolları önce otomatikleştirin. Oturum açma akışı, ödeme, temel API uç noktaları, arızası ciddi bir olay olan her şey erken otomatikleştirilmelidir. Bunlar, son teslim tarihi baskısı altında atlayamayacağınız testlerdir ve otomasyon bu cazibeyi ortadan kaldırır.
Nadir veya kararsız olanı otomatikleştirmeyin. İki kez çalıştıracağınız bir kontrol, komut dosyası yazmaya değmez. Hala günlük olarak değişen bir özellik testlerini günlük olarak bozacaktır; oturana kadar bekleyin. Hareketli bir hedefin erken otomasyonu sadece bakım gürültüsü yaratır.
Keşif testini manuel tutun. Otomatik testler yalnızca onlara bakmalarını söylediğiniz şeyleri bulur. Yazılı olmayan şekillerde yazılımla uğraşan bir insan, kimsenin tahmin etmediği hataları bulur. Bu çalışma da fonksiyonel testtir ve bilerek manuel kalmalıdır.
Yargıya dayalı kontrolleri manuel tutun. Bir hata mesajının gerçekten yardımcı olup olmadığı, bir iş akışının tutarlı olup olmadığı, API'nin kullanıcının sorununu gerçekten çözüp çözmediği gibi konular bir kişiye ihtiyaç duyar. Hiçbir doğrulama bunları yakalayamaz.
Sonuç, kasıtlı bir ayrılıktır: kararlı, kritik, tekrarlayan yolları kapsayan geniş bir otomatik fonksiyonel süit ve keşif ve yargıya odaklanan daha küçük, devam eden bir manuel çaba. Düşünceli bir şekilde otomasyon yapan ekipler, kırılgan bir süite sahip olmadan hızlı geri bildirim alır; her şeyi otomatikleştiren ekipler ise göndermek yerine testleri sürdürmekle uğraşır.
Apidog'da otomatik fonksiyonel API testleri oluşturma
Apidog, komut dosyası yazmaya gerek kalmadan otomatik fonksiyonel API testi için tasarlanmıştır. Bir uç nokta tanımlar, durum, gövde alanları, şema ve yanıt süresi için görsel doğrulama eklersiniz, ardından istekleri test senaryolarında gruplandırırsınız. Bu senaryolar, isteğe bağlı olarak veya bir CI hattında çalışır, fonksiyonel kontrolleri otomatik olarak yürütür ve hangi doğrulamanın başarısız olduğunu tam olarak raporlar.
Aynı çalışma alanı yük testlerini de çalıştırdığı için, fonksiyonel ve fonksiyonel olmayan, otomatikleştirilmiş her iki ekseni de tek bir yerde kapsarsınız. Doğruluk için oluşturduğunuz fonksiyonel senaryo, performans için çalıştırdığınız yük testi haline gelir. Halihazırda sahip olduğunuz bir API için otomatik bir fonksiyonel test paketi oluşturmak üzere Apidog'u indirin.
Sıkça sorulan sorular
Otomatik test, bir fonksiyonel test türü müdür? Hayır. Otomatik test, testleri çalıştırma yöntemidir. Fonksiyonel test, ne test ettiğinizin bir kategorisidir. Otomatik bir test fonksiyonel veya fonksiyonel olmayan olabilir; fonksiyonel bir test manuel veya otomatik olabilir.
Fonksiyonel test otomatikleştirilebilir mi? Evet, ve API'ler için genellikle otomatikleştirilmelidir. Otomatik fonksiyonel test, her değişiklikte özellikleri kontrol eden komut dosyaları veya senaryolar, modern bir API test paketinin çekirdeğidir.
Fonksiyonel testin gerçek zıttı nedir? Fonksiyonel olmayan test: performans, yük, güvenlik ve kullanılabilirlik. Bunlar, bir özelliğin doğru çıktı üretip üretmediği dışındaki nitelikleri kontrol eder.
Her fonksiyonel test otomatikleştirilmeli mi? Hayır. Kararlı, tekrarlayan, yüksek değerli kontrolleri otomatikleştirin. Keşif testini ve yargıya dayalı doğrulamayı manuel tutun, çünkü otomasyon bir şeyin gerçekten iyi olup olmadığına karar veremez, yalnızca bir beklentiyle eşleşip eşleşmediğini kontrol eder.
Bir ekip nereden başlamalı? Otomatik fonksiyonel API testleriyle. Hızlı, kararlı ve temel mantığı kapsarlar. Buradan otomatik fonksiyonel olmayan testler ve manuel keşif testleri ekleyin.
Otomatik test, manuel test uzmanlarının yerini alır mı? Hayır. İşlerinin tekrarlayan kısmını, aynı kontrolleri tekrar tekrar çalıştırmayı değiştirir, böylece test uzmanları keşif testlerine, uç durumlara ve yazılımın gerçekten iyi olup olmadığını yargılamaya odaklanabilir. Bu görevler insanlara ihtiyaç duyar ve bunlar, regresyon kontrol listesini elle tıklamaktan daha yüksek değerlidir.
Aynı test hem fonksiyonel hem de otomatik olabilir mi? Evet, ve çoğu API testi tam olarak budur: otomatik fonksiyonel testler. Bir uç noktayı çağıran ve yanıtın doğru olduğunu doğrulayan bir komut dosyası fonksiyonu kontrol eder ve otomatik olarak çalışır. İki etiket, aynı testin farklı yönlerini tanımlar, bir çelişkiyi değil.