프로젝트의 엔드포인트 테스트 케이스와 테스트 시나리오가 계속 증가하면, 이를 개별적으로 관리하고 실행하는 비용이 급격하게 증가합니다. 품질을 보호하기 위한 자동화된 테스트가 오히려 유지보수 부담이 될 수 있습니다.
전통적으로 팀은 테스트 케이스를 수동으로 선택합니다. 프로젝트에 많은 케이스와 테스트 시나리오가 축적되면, 회귀 테스트를 위해 어떤 것을 포함하고 어떤 것을 실행할지 수동으로 결정하는 것이 상당한 수작업이 됩니다.
Apidog 테스트 스위트는 동적인 접근 방식으로 이 문제를 해결합니다. 스위트는 ID를 고정적으로 저장하는 대신, 필터 규칙(예: 폴더, 태그, 우선순위 또는 조건 조합)을 저장합니다.
각 실행 전에 테스트 스위트는 해당 규칙과 일치하는 모든 테스트 케이스와 테스트 시나리오를 자동으로 수집합니다. 테스트 작성 및 태그 적용에 집중할 수 있으며, 새로운 테스트 자산은 자동으로 감지되어 CI/CD 파이프라인으로 유입되어 진정한 무인 지속적 통합을 가능하게 합니다.
모든 실행 결과는 단일 통합 보고서로 요약되어 분석 및 문제 해결을 용이하게 합니다.
첫 번째 테스트 스위트 생성 및 오케스트레이션
Apidog를 최신 버전으로 업데이트한 후, Tests 모듈을 열고 Test Suite 섹션을 찾으세요. 그 옆에 있는 ... 메뉴를 클릭하고 Create Test Suite를 선택하세요.
팝업에서 설명적인 이름을 입력하고 우선순위 또는 태그와 같은 옵션을 설정합니다. 빈 테스트 스위트가 생성됩니다.
다음으로 스위트에 내용을 추가합니다. 테스트 스위트는 개별 엔드포인트 테스트 케이스 또는 여러 테스트 단계로 구성된 테스트 시나리오를 포함할 수 있습니다.
테스트 콘텐츠 추가: 정적 및 동적
Add Endpoint Test Case 또는 Add Test Scenario를 클릭하면, Static 또는 Dynamic 모드를 선택할 수 있습니다. 이 모드들은 스위트가 무엇을 실행할지 결정하는 방식과 다양한 유지보수 및 테스트 목표에 적합한 방식을 정의합니다.
정적 모드는 실행할 항목의 정확한 세트를 고정합니다. 정적 모드에서 특정 케이스를 선택하면 시스템은 해당 케이스의 고유 ID를 저장합니다. 나중에 동일한 폴더에 새 케이스가 추가되거나 케이스가 이동되어도 스위트의 실행 범위는 변경되지 않습니다. 동작은 결정론적이며 모든 실행에서 동일합니다.
동적 모드는 다르게 작동합니다. 특정 케이스 ID를 저장하지 않고, "특정 폴더 아래의 모든 케이스", "태그 'semantic-valid'를 가진 모든 케이스" 또는 "P0 우선순위를 가진 모든 테스트 시나리오"와 같은 필터 규칙을 저장합니다.
동적 모드에서는 테스트 스위트가 실행될 때마다 시스템이 이 규칙들을 사용하여 프로젝트를 다시 스캔하고 현재 일치하는 모든 케이스를 포함합니다. 속성(폴더, 태그, 우선순위)이 규칙과 일치하는 모든 테스트 케이스 또는 시나리오가 자동으로 포함됩니다.
정적 모드 vs 동적 모드: 선택 방법은?
어떤 모드도 보편적으로 더 좋다고 할 수는 없으며, 각각 다른 요구 사항을 충족합니다. 선택은 스위트가 시간이 지남에 따라 어떻게 동작하기를 원하는지에 따라 달라집니다.
엄격하게 범위가 지정된 전용 테스트(예: 고정된 회귀 테스트 세트)의 경우, 정적 모드가 더 예측 가능합니다. 지속적인 반복 및 "자동 온보딩" 회귀 또는 스모크 테스트의 경우, 동적 모드는 유지보수 비용을 크게 줄여줍니다.
두 모드의 빠른 비교를 위해 아래 표를 참조하세요:
| 측면 | 정적 모드 | 동적 모드 |
|---|---|---|
| 핵심 로직 | 특정 케이스 ID 저장 | 필터 규칙 저장 (폴더, 태그, 우선순위 등) |
| 시간 경과에 따른 콘텐츠 | 수동으로 변경하지 않는 한 고정 | 일치하는 케이스가 추가되거나 제거될 때 자동으로 업데이트 |
| 유지보수 비용 | 높음; 새 케이스를 수동으로 추가해야 함 | 낮음; 규칙을 한 번 설정하면 실행이 동기화됨 |
| 일반적인 사용 | 버그 수정 검증, 핵심 경로 안정성, 호환성 테스트 | 전체 회귀 테스트, 스모크 테스트, 릴리스 수락 |
실행 순서 및 고급 설정
콘텐츠를 추가한 후, 오케스트레이션 목록에서 항목을 드래그하여 순서를 변경할 수 있습니다.
각 실행 항목(예: 테스트 시나리오)에 대해 오른쪽 옵션을 통해 실행 동작을 더 자세히 제어할 수 있습니다.
예를 들어, 오류 발생 시(On Error) 설정을 통해 단계가 실패할 경우 계속 진행할지, 현재 라운드를 건너뛸지, 전체 실행을 중지할지 선택할 수 있습니다. 반복(Iterations) 설정을 통해 간단한 안정성 검사를 위해 전체 스위트를 여러 번 실행할 수 있습니다. 이러한 옵션들을 통해 테스트 스위트는 단순한 케이스 모음이 아닌 제어 가능한 실행 흐름이 됩니다.
테스트 스위트 실행
테스트 스위트가 설정되면, 개발 단계와 환경에 따라 로컬 수동 실행부터 클라우드 기반 자동화까지 여러 가지 방법으로 실행할 수 있습니다.
테스트 스위트 로컬에서 실행
가장 직접적인 방법은 Apidog 클라이언트에서 Run을 클릭하는 것입니다. 실행은 로컬 머신에서 이루어지며 개발 및 디버깅 중의 작고 빠른 검사에 적합합니다. 실행 설정에서 실행 환경(run environment)을 전환하고 실행 완료 시 알림(notification)을 설정할 수 있습니다.
실행이 완료되면 Apidog는 테스트 보고서를 생성하고 UI에 표시합니다. 보고서는 각 엔드포인트 테스트 케이스와 테스트 시나리오를 실행 순서대로 명확한 성공/실패 상태와 함께 나열합니다. 개별 항목을 열어 자세한 내용을 확인할 수 있습니다.
CLI를 통해 테스트 스위트 실행
더 큰 테스트 세트 또는 헤드리스 환경(예: GUI가 없는 서버)의 경우, Apidog CLI가 더 나은 선택입니다. 이는 Apidog의 테스트 실행을 모든 터미널로 가져옵니다.
CLI를 통해 실행하려면 Apidog CLI를 설치하고 최신 상태인지 확인하세요. 그런 다음, 테스트 스위트의 CI/CD 탭에서 생성된 명령어를 사용합니다:
해당 명령어를 터미널에 복사하여 스위트를 실행하고 UI와 동일한 흐름 및 결과를 확인하세요.
실행이 완료되면 현재 디렉토리에 apidog-reports/라는 폴더가 생성되고 HTML 테스트 보고서가 포함됩니다.
CLI를 통한 실행은 CI/CD 통합의 기반입니다. 이 명령어를 Jenkins, GitLab CI 또는 GitHub Actions에 연결하여 코드 병합과 같은 주요 시점에서 회귀 테스트를 트리거할 수 있습니다.
예약된 작업을 통해 테스트 스위트 실행
Apidog는 Scheduled Tasks를 지원합니다. 테스트 스위트의 Scheduled Tasks 탭에서 작업을 생성하고 실행 스케줄 및 실행 환경을 설정하세요.
로컬 실행과 달리 예약된 작업은 자체 호스팅 러너(Runner)에서 실행되어야 합니다.
러너(Runner)는 팀이 내부 서버에 배포할 수 있는 경량 프로그램입니다. 러너를 사용하면 로컬 머신이 꺼져 있거나 연결할 수 없을 때 발생하는 실패를 방지하고 서버의 리소스를 사용하여 더 큰 테스트 실행을 수행할 수 있습니다.
예약된 작업이 구성되면 Apidog는 지정된 시간에 러너(Runner)에서 테스트 스위트를 실행하고 실행 기록 및 보고서를 업로드합니다. 또한 문제가 발생했을 때 적절한 사람들에게 빠르게 알림이 갈 수 있도록 실패 알림을 구성할 수도 있습니다.
요약
정적 및 동적 오케스트레이션을 통해 전용 테스트의 범위를 엄격하게 유지하고, 지속적인 수동 업데이트 없이 프로젝트와 함께 회귀 테스트 스위트를 자동으로 성장시킬 수 있습니다. 로컬 실행, CLI 통합 및 예약된 작업과 결합된 테스트 스위트는 개발 중 빠른 확인부터 CI/CD의 자동화된 회귀 테스트, 프로덕션에서의 예약된 확인까지 워크플로우의 모든 단계에 적용될 수 있습니다.
테스트 스위트에 대한 자세한 내용은 Apidog 문서를 참조하세요. 첫 번째 테스트 스위트를 생성하고, 기존 테스트를 오케스트레이션하며, 지속 가능한 자동화된 회귀 테스트 환경을 단계별로 구축해 보세요.