요약
Postman이 무료 요금제에서 Collection Runner 접근을 제한하여, 업그레이드하지 않은 팀의 자동화된 테스트 실행이 중단되었습니다. 이는 로컬 테스트 실행, CI/CD 파이프라인, 그리고 대량 요청 실행에 Runner를 사용했던 모든 워크플로우에 영향을 미칩니다. 이 문서는 무엇이 변경되었는지, 실제로 어떤 문제를 일으키는지, 그리고 Apidog의 Runner가 모든 요금제에서 제한 없이 어떻게 작동하는지 설명합니다.
서론
Postman의 Collection Runner는 가장 많이 사용되는 기능 중 하나였습니다. 50개의 API 요청으로 구성된 컬렉션을 만든 다음 "컬렉션 실행(Run Collection)"을 클릭하면, Postman이 요청 간 변수 전달, 각 응답에 대한 테스트 어설션, 그리고 마지막에 요약 보고서와 함께 순서대로 요청을 실행하는 것을 볼 수 있었습니다. 복잡한 다단계 흐름을 테스트하는 개발자들에게는 필수적인 기능이었습니다.
그러다가 2026년에 제한이 생겼습니다. 무료 요금제 축소의 일환으로 Postman은 Collection Runner 접근을 제한했습니다. 무료 계정은 더 이상 한 달에 특정 수 이상의 요청을 컬렉션으로 실행할 수 없으며, 일부 Runner 기능은 이제 완전히 유료화되었습니다.
그 영향은 개발자 워크플로우에서 빠르게 나타났습니다. Newman(Postman의 CLI Runner)에 의존하는 CI 파이프라인을 사용하던 팀들은 한계에 부딪히기 시작했습니다. Collection Runner에서 배포 전 스모크 테스트를 실행하던 개발자들은 해당 기능이 비활성화되거나 제한되는 것을 발견했습니다.
Postman이 Collection Runner에서 변경한 내용
Postman의 무료 요금제는 이제 Collection Runner를 두 가지 주요 방식으로 제한합니다.
월별 실행 제한. 무료 계정은 한 달에 수행할 수 있는 Collection Runner 실행 횟수에 제한이 있습니다. Postman은 정확한 숫자를 명확히 공개하지 않았지만, 커뮤니티 보고서에 따르면 월 약 25회 실행인 것으로 알려져 있습니다. 하루에 여러 번 테스트를 실행하는 개발자의 경우 이 제한은 며칠 내에 도달합니다.
Newman CLI 제한. Newman은 터미널 및 CI 환경에서 Postman 컬렉션을 실행할 수 있게 해주는 오픈소스 CLI 도구로, 이전에는 요금제 제한 없이 모든 Postman 컬렉션 내보내기와 함께 작동했습니다. 2026년 이후에는 클라우드 동기화 컬렉션을 사용할 때 일부 Newman 기능이 Postman 계정의 요금제 등급에 다시 연결됩니다.
코드 없는 테스트 실행. 사이드바에서 접근할 수 있는 시각적 Collection Runner는 실행 제한에 도달하면 무료 계정에서 유료화된 상태로 표시됩니다.
제한되지 않는 사항: 개별 요청을 수동으로 실행하는 것(단일 요청에서 "보내기(Send)" 클릭)은 무제한으로 유지됩니다. 이 제한은 특히 자동화된 일괄 실행을 대상으로 합니다.
실제로 무엇이 문제인가
사전 커밋 및 사전 배포 스모크 테스트
많은 팀은 PR을 병합하거나 스테이징에 배포하기 전에 Collection Runner를 실행합니다. 스모크 테스트 컬렉션에 30개의 요청이 있었다면, 세 명의 개발자로 구성된 팀이 하루에 두 번씩 실행할 경우 약 이틀 만에 Postman의 무료 월간 제한을 소진하게 됩니다.
CI/CD 파이프라인
Newman 기반 CI 파이프라인이 가장 큰 영향을 받습니다. 다음과 같은 GitHub Actions 워크플로우는:
- name: Run API tests
run: newman run ./collections/api-tests.json -e ./environments/staging.json
계정 제한에 도달하면 실패하거나 속도 오류가 발생하기 시작합니다. 이는 푸시할 때마다 여러 파이프라인이 트리거되는 팀에 특히 치명적입니다.
종단 간 테스트 스위트
일부 팀은 Postman에서 요청을 연결하여 한 요청의 출력(예: 인증 토큰)을 다음 요청으로 전달하는 다단계 API 워크플로우를 구축했습니다. Collection Runner는 `pm.environment.set()` 패턴을 통해 이를 처리합니다. Runner가 제한되면 이러한 워크플로우는 한 번에 하나씩 수동으로 요청을 단계별로 실행해야만 테스트할 수 있습니다.
부하 및 성능 테스트
Postman의 Collection Runner에는 컬렉션을 순서대로 여러 번 실행할 수 있는 "지연(delay)" 및 "반복(iterations)" 옵션이 있어 기본적인 부하 테스트에 유용합니다. 실행 제한이 적용되면 이 사용 사례는 무료 요금제에서 사실상 사라집니다.
Postman 내에서 즉시 적용 가능한 해결 방법
아직 도구를 전환할 준비가 되지 않았다면, Postman 생태계 내에 몇 가지 해결 방법이 있습니다.
Newman으로 내보내고 로컬에서 실행. Newman은 클라우드와 통신하는 기능을 사용하지 않는 한, Postman 계정 로그인 없이 로컬로 내보낸 컬렉션 JSON 파일을 사용하여 실행됩니다. 컬렉션과 환경을 내보낸 다음 Newman을 완전히 오프라인으로 실행하세요:
newman run collection.json -e environment.json
Newman이 로컬 파일을 읽기 때문에 Postman 계정 실행 제한을 우회합니다. 단점은 라이브 Postman 워크스페이스와의 동기화를 잃게 되므로 컬렉션이 변경될 때마다 다시 내보내야 한다는 것입니다.
대규모 컬렉션을 작은 덩어리로 분할. 월간 제한에 가까워졌다면, 100개 요청 컬렉션을 25개 요청 컬렉션 4개로 분할하면 각 컬렉션이 별도의 실행 카운터를 사용하게 됩니다. 이는 해결책이 아닌 임시방편이며, 다단계 테스트의 논리적 흐름을 깨뜨립니다.
선택적으로 업그레이드. 한 명의 팀원만 CI 파이프라인을 실행하는 경우, 다른 팀원들은 무료 요금제를 유지하고 해당 계정만 유료 요금제를 사용하는 것이 모든 사람을 업그레이드하는 것보다 저렴합니다. 유료 계정은 제한 없이 Newman을 실행하고, 다른 팀원들은 수동 테스트를 사용합니다.
Apidog의 Collection Runner가 다른 방식
Apidog의 Runner는 "테스트 시나리오(Test Scenarios)"라고 불리거나 모든 컬렉션에서 "실행(Run)" 버튼을 통해 접근할 수 있으며, 어떤 요금제에서도 월별 실행 제한이 없습니다. 이는 무료 요금제도 포함합니다.
Postman이 제한했던 기능과 비교하면 다음과 같습니다:
| 기능 | Postman 무료 | Apidog 무료 |
|---|---|---|
| Runner 실행 횟수/월 | ~25 (보고됨) | 무제한 |
| CI/CD 실행 (CLI) | 제한됨 | 무제한 |
| 실행 당 반복 횟수 | 제한됨 | 무제한 |
| 변수를 사용한 요청 연결 | 제한됨 | 무제한 |
| 테스트 어설션 | 사용 가능 | 사용 가능 |
| 실행 요약 보고서 | 사용 가능 | 사용 가능 |
Apidog CLI Runner(`apidog-cli`)는 Newman과 동일한 방식으로 CI/CD와 통합됩니다. 명령 구조는 유사합니다:
apidog run {project-id} --collection {collection-id} --environment {env-id}
또한 Apidog에서 컬렉션을 내보내어 Newman의 로컬 파일 방식과 유사하게 오프라인으로 실행할 수 있으며, 계정 기반 제한에 대해 걱정할 필요가 없습니다.
CI 파이프라인에 Apidog Runner 설정하기
Newman 기반 파이프라인을 Apidog로 마이그레이션하는 경우, GitHub Actions에서의 전환은 다음과 같습니다.
이전 (Newman):
- name: Install Newman
run: npm install -g newman
- name: Run API tests
run: newman run ./collections/api-tests.json -e ./environments/staging.json --reporters cli,json --reporter-json-export results.json
이후 (Apidog CLI):
- name: Install Apidog CLI
run: npm install -g apidog-cli
- name: Run API tests
run: apidog run --project {project-id} --env {env-id} --output results.json
env:
APIDOG_ACCESS_TOKEN: ${{ secrets.APIDOG_ACCESS_TOKEN }}
주요 차이점은 인증 메커니즘(Apidog는 Postman API 키 대신 액세스 토큰 사용)과 로컬 파일 경로 대신 프로젝트 기반 참조입니다. 둘 다 테스트 결과 보고를 위한 JSON 출력을 지원합니다.
또는 Newman의 익숙한 인터페이스를 계속 사용하고 싶다면, Apidog 컬렉션을 Postman 호환 JSON으로 내보내고 Newman을 계속 실행할 수 있습니다. 이를 통해 Apidog를 매일 사용하면서도 오프라인에서 계정 없이 작업할 수 있습니다.
Apidog의 고급 Runner 기능
Postman의 제한된 기능 세트를 충족하는 것 외에도, Apidog의 Runner는 알아둘 가치가 있는 몇 가지 기능을 추가합니다.
데이터 기반 테스트. CSV 또는 JSON 파일을 테스트 실행으로 가져와 다른 데이터 세트로 동일한 컬렉션을 실행합니다. 각 행이 한 번의 반복이 됩니다. 이는 Postman의 데이터 파일 기능과 동일하며, Postman의 상위 요금제에서는 유료화되어 있습니다.
사용자 지정 반복 횟수. 월별 카운터에 대해 걱정할 필요 없이 테스트 실행에 대한 특정 반복 횟수를 설정하세요. 필요한 경우 기본적인 스트레스 테스트를 위해 컬렉션을 500번 실행할 수 있습니다.
스마트 목(Mock) 통합. Runner가 실행되는 동안 Apidog의 내장 목 서버와 상호 작용할 수 있습니다. 이는 별도의 서버를 실행할 필요 없이 목 엔드포인트를 대상으로 테스트를 실행할 수 있음을 의미하며, 아직 구축되지 않은 API에 대해 클라이언트 코드를 테스트할 때 유용합니다.
예약된 실행. 외부 cron 작업이나 CI 트리거 없이 Apidog에서 직접 정해진 일정(매시간, 매일 등)에 따라 자동 테스트 실행을 설정하세요. 결과는 프로젝트의 테스트 기록에 나타납니다.
Postman의 Collection Runner 제한은 무료 요금제에서 CI 파이프라인 및 자동화된 테스트 워크플로우를 구축한 팀에게는 실질적인 장애물이 됩니다. 가장 직접적인 해결책은 사용 제한이 없는 Runner로 전환하는 것입니다. Apidog의 Runner는 Postman의 무료 요금제에서 제한되었던 모든 사용 사례를 포괄하며, CLI 통합은 약간의 구성 변경으로 기존 파이프라인 설정에서 작동합니다.