Chào mừng người dùng Apidog! 👋 Trong năm qua, chúng tôi đã xây dựng một nền tảng kiểm thử tự động toàn diện xoay quanh Test Scenarios (Kịch bản Kiểm thử)—các chuỗi quy trình làm việc có thể tái sử dụng, liên kết nhiều yêu cầu API thành các luồng nghiệp vụ hoàn chỉnh. Test Scenarios giải quyết vấn đề "làm thế nào để kiểm thử", nhưng chúng tôi đã nhận được phản hồi nhất quán từ các nhóm về một thách thức khác: "làm thế nào để tổ chức những gì cần kiểm thử."
Các nhóm cho biết họ có hàng trăm trường hợp kiểm thử được tổ chức theo các module nghiệp vụ, nhưng khi đến thời điểm kiểm thử hồi quy cho bản phát hành, họ chỉ muốn chạy các trường hợp P0 của mình—chứ không phải tất cả mọi thứ. Hiện tại, họ phải tìm kiếm và chọn thủ công từng trường hợp. Những người khác duy trì cả các trường hợp kiểm thử tích cực và tiêu cực nhưng muốn kiểm thử smoke chỉ bao gồm các luồng tích cực. Và khi các trường hợp mới được thêm vào, chúng thường bị quên trong danh sách hồi quy.
Hôm nay, chúng tôi giới thiệu Test Suites (Bộ Kiểm thử): một loại tài nguyên mới cho phép bạn tổ chức và thực thi các kiểm thử theo quy tắc thay vì chọn từng trường hợp riêng lẻ. Test Suites mang đến ba khả năng cốt lõi cho quy trình kiểm thử của bạn:
- Định tuyến kiểm thử động: Xác định các quy tắc lọc một lần—theo thẻ, thư mục hoặc mức độ ưu tiên—và các trường hợp phù hợp sẽ tự động được đưa vào khi chạy. Các trường hợp mới đáp ứng tiêu chí của bạn sẽ được thêm vào mà không cần bảo trì thủ công.
- Thực thi song song: Chuyển đổi giữa chế độ nối tiếp và song song chỉ với một cú nhấp chuột. Hệ thống tự động tối ưu hóa đồng thời dựa trên tài nguyên có sẵn, rút ngắn thời gian hồi quy kéo dài hàng giờ xuống còn vài phút.
- Báo cáo kiểm thử có cấu trúc: Xem kết quả được nhóm theo logic tổ chức của bạn—theo module, ưu tiên hoặc thẻ—thay vì cuộn qua các danh sách phẳng. Các trường hợp thất bại sẽ hiển thị ngay lập tức với ngữ cảnh rõ ràng.
Dưới đây là cái nhìn chi tiết hơn về cách mỗi khả năng hoạt động.
Định tuyến kiểm thử động
Yêu cầu phổ biến nhất mà chúng tôi nghe từ các nhóm QA là: "Tôi muốn chạy tất cả các trường hợp P0 trong module thanh toán mà không cần chọn từng trường hợp một." Test Suites giải quyết vấn đề này bằng cách tách biệt việc tạo kiểm thử khỏi việc tổ chức kiểm thử.
Test Scenarios vẫn là các khối xây dựng của bạn—mỗi kịch bản đại diện cho một quy trình nghiệp vụ hoàn chỉnh (đăng nhập, tạo đơn hàng, thanh toán, xác minh trạng thái). Test Suites cho phép bạn nhóm các kịch bản này theo điều kiện: thẻ, thư mục, mức độ ưu tiên hoặc bất kỳ sự kết hợp nào. Khi bạn chạy một bộ kiểm thử, nó sẽ tự động bao gồm tất cả các trường hợp phù hợp tại thời điểm thực thi.
Điều này ngày càng trở nên quan trọng khi các công cụ phát triển được hỗ trợ bởi AI đẩy nhanh quá trình tạo mã và kiểm thử. Với các bộ kiểm thử động, bạn không cần phải cập nhật thủ công danh sách hồi quy mỗi khi một trường hợp mới được thêm vào. Viết trường hợp, áp dụng các thẻ phù hợp, và bộ kiểm thử sẽ xử lý phần còn lại.
Chúng tôi hỗ trợ hai chế độ để phù hợp với các nhu cầu kiểm thử khác nhau:
Chế độ tĩnh cung cấp cho bạn một danh sách cố định các trường hợp. Bạn chọn chính xác những kịch bản nào để đưa vào, và danh sách đó vẫn không thay đổi cho đến khi bạn sửa đổi. Điều này hoạt động tốt cho các kiểm thử smoke—một tập hợp được chọn lọc gồm 5-15 kịch bản quan trọng hiếm khi thay đổi nhưng được chạy thường xuyên.
Chế độ động sử dụng các quy tắc để tự động bao gồm các trường hợp phù hợp. Xác định một điều kiện (tất cả các trường hợp trong thư mục "Thanh toán" với mức ưu tiên P0), và bộ kiểm thử sẽ luôn được cập nhật khi thư viện kiểm thử của bạn phát triển. Điều này hoạt động tốt cho việc hồi quy module, nơi số lượng trường hợp thay đổi thường xuyên.
Trong giao diện sản phẩm, chúng tôi hướng dẫn bạn lựa chọn này mà không yêu cầu bạn phải hiểu thuật ngữ trước. Khi bạn chọn chế độ tĩnh, các hộp kiểm sẽ xuất hiện để chọn từng trường hợp. Khi bạn chọn chế độ động, bạn sẽ thấy bản xem trước chỉ đọc của các trường hợp phù hợp với ghi chú: "Các trường hợp mới phù hợp với các điều kiện này sẽ được tự động bao gồm."
Thực thi song song
Khi bộ kiểm thử của bạn tăng lên hàng trăm trường hợp, việc thực thi nối tiếp sẽ trở thành một nút thắt cổ chai. Một cuộc hồi quy đầy đủ mất một giờ để hoàn thành sẽ làm chậm pipeline phát hành của bạn và làm chậm quá trình phát hiện lỗi trong việc giám sát sản xuất.
Test Suites hỗ trợ thực thi song song ngay lập tức. Chỉ cần chuyển đổi giữa chế độ nối tiếp và song song—hệ thống sẽ tự động xác định sự đồng thời tối ưu dựa trên tài nguyên có sẵn của máy tính bạn. Không cần điều chỉnh thủ công. Điều này rút ngắn thời gian hồi quy 60 phút xuống dưới 30 phút mà không thay đổi logic kiểm thử của bạn.
Thực thi song song tự động xử lý việc cô lập các phụ thuộc. Mỗi kịch bản chạy trong ngữ cảnh riêng của nó, đảm bảo rằng các biến dùng chung hoặc trạng thái môi trường từ một kịch bản không can thiệp vào kịch bản khác. Đối với các kịch bản thực sự phụ thuộc vào nhau, bạn có thể nhóm chúng thành một kịch bản duy nhất với các bước tuần tự.
Báo cáo kiểm thử có cấu trúc
Các báo cáo kiểm thử truyền thống liệt kê kết quả từng cái một. Khi bạn đang chạy một bộ kiểm thử với 200 trường hợp trên nhiều module, việc tìm kiếm những lỗi quan trọng trở nên tẻ nhạt.
Các báo cáo Test Suite được cấu trúc theo logic tổ chức của bạn. Kết quả được nhóm theo các điều kiện bạn đã xác định—theo module, theo ưu tiên, theo thẻ. Bạn có thể thấy ngay "Module Thanh toán: 45/47 đạt" và "Module Người dùng: 32/32 đạt" mà không cần cuộn qua từng mục riêng lẻ.
Mỗi nhóm mở rộng để hiển thị kết quả kịch bản riêng lẻ với thời gian thực thi, số lượng xác nhận và chi tiết lỗi. Các kịch bản thất bại sẽ nổi lên trên cùng với ngữ cảnh lỗi rõ ràng, giúp bạn phân loại vấn đề mà không cần tìm kiếm trong nhật ký.
Báo cáo cũng bao gồm siêu dữ liệu thực thi: tổng thời gian, hiệu quả song song (thời gian tiết kiệm so với thực thi nối tiếp) và cấu hình môi trường được sử dụng. Điều này giúp bạn tối ưu hóa cấu hình bộ kiểm thử theo thời gian và cung cấp dấu vết kiểm toán cho các yêu cầu tuân thủ.
Cấu hình thống nhất với các tùy chọn ghi đè linh hoạt
Mỗi Test Scenario có thể có cấu hình chạy riêng: môi trường, số lần lặp và các cài đặt khác. Khi bạn nhóm nhiều kịch bản vào một bộ kiểm thử, bạn cần quyết định cấu hình của ai sẽ được ưu tiên.
Theo mặc định, mỗi kịch bản chạy với cấu hình đã lưu của nó—hành vi trực quan nhất. Riêng đối với cài đặt môi trường, bộ kiểm thử cung cấp một bộ chọn môi trường thống nhất mà các kịch bản có thể kế thừa. Điều này cho phép bạn chuyển đổi toàn bộ bộ hồi quy của mình từ môi trường thử nghiệm sang môi trường sản xuất chỉ với một thay đổi duy nhất.
Nếu bạn cần kiểm soát hoàn toàn, bạn có thể chỉ định một cấu hình tùy chỉnh ghi đè tất cả các cài đặt cấp kịch bản. Tùy chọn này có sẵn trong cài đặt nâng cao để giữ cho đường dẫn chung đơn giản.
Test Suites so với chạy hàng loạt thư mục
Apidog đã hỗ trợ chạy hàng loạt ở cấp thư mục. Test Suites phục vụ một mục đích khác.
Thư mục tổ chức các trường hợp theo cấu trúc vật lý. Một trường hợp thuộc về một thư mục.
Test Suites tổ chức các trường hợp theo các quy tắc logic. Một trường hợp có thể thuộc về nhiều bộ kiểm thử cùng một lúc.
Ví dụ: Một trường hợp kiểm thử thanh toán P0 có thể xuất hiện trong cả "Hồi quy Module Thanh toán" (tất cả các trường hợp P0/P1 được gắn thẻ thanh toán) và "Kiểm thử Smoke Toàn diện" (tất cả các trường hợp P0 trên toàn hệ thống). Tính linh hoạt này cho phép bạn xây dựng các đơn vị thực thi kiểm thử có thể tái sử dụng cho các kịch bản khác nhau—kiểm thử smoke được kích hoạt trên mỗi commit, hồi quy đầy đủ trước khi phát hành và kiểm tra sức khỏe theo lịch trình trong sản xuất.
Khả năng | Mục đích | Phù hợp nhất cho |
|---|---|---|
Test Scenario | Điều phối luồng nghiệp vụ | Xác định các quy trình kiểm thử riêng lẻ |
Thư mục | Tổ chức vật lý | Hợp tác nhóm, quản lý trường hợp |
Chạy hàng loạt thư mục | Thực thi nhanh | Kiểm thử thăm dò, hồi quy ad-hoc |
Test Suite | Đơn vị thực thi có thể tái sử dụng | Hồi quy bản phát hành, kiểm thử smoke, giám sát theo lịch trình |
Những gì chúng tôi đang xây dựng tiếp theo
Chúng tôi đang đánh giá việc lồng ghép các bộ kiểm thử (tạo bộ kiểm thử từ các bộ kiểm thử khác) và tự động thử lại khi thất bại. Chế độ động đã xử lý hầu hết các nhu cầu về thành phần, và chúng tôi muốn tránh che giấu các lỗi thực sự bằng cách thử lại. Chúng tôi sẽ xem xét lại dựa trên các mẫu sử dụng.
Làm thế nào để bắt đầu
Test Suites hiện có sẵn trong Apidog. Tạo bộ kiểm thử đầu tiên của bạn từ module Kiểm thử Tự động, chọn chế độ tĩnh hoặc động, xác định các điều kiện của bạn và chạy. Tích hợp với pipeline CI/CD của bạn bằng cách sử dụng CLI để kích hoạt các bộ kiểm thử khi hợp nhất mã hoặc theo lịch trình.
Tham gia trò chuyện
Chúng tôi muốn biết Test Suites phù hợp với quy trình làm việc của bạn như thế nào. Chia sẻ phản hồi trong các kênh cộng đồng của chúng tôi. Kết nối với các kỹ sư API đồng nghiệp và đội ngũ Apidog:
- Discord: Tham gia cộng đồng của chúng tôi để thảo luận theo thời gian thực và các chiến lược kiểm thử
- X (Twitter): Theo dõi chúng tôi để cập nhật sản phẩm mới nhất và thông tin chi tiết về API
- LinkedIn: Kết nối với chúng tôi để nhận các cập nhật chuyên nghiệp và góc nhìn ngành
Khám phá chi tiết đầy đủ về tất cả các bản cập nhật này trong Apidog Changelog! 🚀
Chúc bạn kiểm thử vui vẻ!