Newman과 Postman은 경쟁자가 아닙니다. 이들은 하나의 워크플로우를 구성하는 두 개의 절반입니다. Postman은 요청을 설계하고, 테스트를 작성하고, 수동으로 API를 탐색하는 데 사용되는 데스크톱 애플리케이션입니다. Newman은 Postman에서 구축한 컬렉션을 가져와 GUI 없이 실행하는 명령줄 도구입니다. Postman이 작업장이라면, Newman은 완성된 작업을 스케줄에 따라 실행하는 기계입니다.
이러한 혼란은 보통 "어느 것을 사용해야 할까요?"라는 질문에서 비롯됩니다. 솔직한 답변은 다른 단계에서 둘 다 사용한다는 것입니다. 그래픽 인터페이스가 작업을 빠르게 만들기 때문에 Postman에서 작성합니다. 파이프라인은 버튼을 클릭할 수 없기 때문에 Newman에서 실행합니다. 이 문서는 그 관계를 정확히 설명하고, 각 도구가 어디에 적합한지 보여주며, Newman을 CI/CD 파이프라인에 통합하는 과정을 안내합니다.
Postman이란 무엇인가
Postman은 그래픽 API 플랫폼입니다. 데스크톱 앱으로 설치하여 요청을 생성하고, 이를 컬렉션 및 폴더로 구성하며, 기본 URL 및 토큰과 같은 변수를 담는 환경을 연결할 수 있습니다. 각 응답 후, Postman은 요청의 테스트(Tests) 탭에 작성한 JavaScript 테스트 스크립트를 실행합니다.
Postman 테스트 스크립트는 응답을 확인합니다:
pm.test("Status code is 200", function () {
pm.response.to.have.status(200);
});
pm.test("Order total is a positive number", function () {
const body = pm.response.json();
pm.expect(body.total).to.be.a("number");
pm.expect(body.total).to.be.above(0);
});
Postman은 대화형 작업을 위해 만들어졌습니다. 새로운 엔드포인트를 디버깅하는 개발자는 요청을 보내고, 응답을 검사하고, 헤더를 조정하며, 몇 초 만에 반복 작업을 수행할 수 있습니다. QA 엔지니어는 이러한 요청을 저장된 회귀 테스트 스위트로 전환합니다. 팀은 워크스페이스를 공유하여 모든 사람이 동일한 컬렉션으로 작업할 수 있습니다. 이 모든 것은 시각적 인터페이스의 이점을 누립니다. Postman으로 API를 테스트하는 방법에 대한 저희 가이드에서 이 워크플로우를 자세히 다룹니다.
Postman이 설계되지 않은 부분은 무인 실행입니다. 스위트를 실행한다는 것은 앱을 열고 컬렉션 러너(Collection Runner)를 클릭하는 것을 의미합니다. 이는 책상에 앉은 사람에게는 괜찮지만, 빌드 서버에는 쓸모가 없습니다.
Newman이란 무엇인가
Newman은 Postman의 공식 명령줄 컬렉션 러너입니다. Postman이 생성하는 것과 동일한 컬렉션 파일을 실행하는 무료 오픈 소스 npm 패키지입니다. 컬렉션을 JSON 파일로 내보내 Newman에 전달하면, Newman은 모든 요청과 모든 테스트 스크립트를 실행한 다음 그 결과를 터미널에 보고합니다.
npm으로 설치하세요:
npm install -g newman
컬렉션 실행:
newman run orders-api.postman_collection.json \
--environment staging.postman_environment.json
Newman은 각 요청을 실행하고, Postman과 동일한 pm.test 어설션을 수행하며, 요약을 출력합니다. 핵심은 Newman이 Postman과 동일한 실행 엔진을 사용하므로, GUI에서 통과한 컬렉션이 명령줄에서도 동일하게 작동한다는 점입니다. 다시 작성할 필요도, 별도의 테스트 언어도 없습니다.
Newman은 또한 어떤 테스트가 실패하면 0이 아닌 상태 코드로 종료됩니다. 이러한 단일 동작이 자동화에 유용한 이유입니다. 빌드 시스템은 해당 종료 코드를 읽어 깨진 어설션에서 빌드를 실패시킵니다. 성공적인 실행은 0으로 종료되며 파이프라인은 계속 진행됩니다.
나란히 비교
| 측면 | Postman | Newman |
|---|---|---|
| 인터페이스 | 그래픽 데스크톱 앱 | 명령줄, UI 없음 |
| 주요 용도 | 작성, 디버깅, 탐색 | 자동화된 무인 실행 |
| 실행 위치 | 개발자 컴퓨터 | CI 서버, 터미널, 스케줄러 |
| 비용 | 무료 등급 + 유료 플랜 | 오픈 소스, 완전 무료 |
| 설치 | 데스크톱 설치 프로그램 | npm 패키지 |
| 테스트 스크립트 | 앱 내에서 작성 및 실행 | 동일한 스크립트를 헤드리스 방식으로 실행 |
| 보고 | 앱 내 결과 창 | 터미널 출력 + 리포터 플러그인 |
| 가장 적합한 용도 | 대화형 반복 | 반복 가능하고 스크립트 가능한 실행 |
컬렉션 JSON 파일은 이 둘 사이의 다리 역할을 합니다. Postman에서 한 번 구축하면, Newman이 자동화 환경에서 계속 실행합니다.
CI/CD에 Newman을 통합하는 방법
Newman은 주로 API 테스트를 지속적 통합(CI)에 통합하기 위해 존재합니다. 이 패턴은 모든 제공업체에서 일관됩니다. 내보낸 컬렉션 및 환경 파일을 저장소에 커밋하고, 파이프라인에 Newman을 설치한 다음 실행하여 종료 코드로 빌드를 게이트할 수 있습니다.
단계별 워크플로우는 다음과 같습니다:
- Postman에서 내보내기. Postman에서 컬렉션과 해당 환경을 JSON 파일로 내보냅니다.
- 리포지토리에 커밋. 코드와 함께 저장하여 API와 함께 버전 관리되도록 합니다.
- 파이프라인에 Newman 설치. CI 작업에
npm install -g newman을 추가하거나,postman/newmanDocker 이미지를 사용합니다. - 컬렉션 실행. 컬렉션 및 환경 파일과 함께
newman run을 호출합니다. - 종료 코드로 게이트 설정. 어떤 테스트라도 실패하면 Newman은 0이 아닌 값으로 종료되며, CI 제공업체는 빌드를 실패로 표시합니다.
GitHub Actions 단계는 다음과 같습니다:
- name: Run API tests
run: |
npm install -g newman
newman run orders-api.postman_collection.json \
--environment staging.postman_environment.json \
--reporters cli,junit \
--reporter-junit-export results.xml
--reporters 플래그는 알아둘 가치가 있습니다. Newman은 CLI 및 JUnit XML용 내장 리포터와 함께 제공되며, 커뮤니티 리포터는 HTML 출력 등을 추가합니다. 특히 JUnit XML은 CI 대시보드에서 테스트 결과를 기본적으로 표시할 수 있게 합니다. 전체 가이드를 보려면 CI/CD에서 API 테스트 자동화하기 및 GitHub Actions를 사용한 API 테스트 자동화에 대한 가이드를 참조하세요.
유용한 Newman 명령줄 옵션
Newman에는 자동화된 실행의 까다로운 부분을 처리하는 일련의 플래그가 있습니다. 이 중 몇 가지를 아는 것이 취약한 작업과 안정적인 작업의 차이를 만듭니다.
--iteration-data 플래그는 Newman이 CSV 또는 JSON 파일을 참조하게 하고, 각 행당 한 번씩 전체 컬렉션을 실행하며 해당 행의 값을 변수로 대체합니다. 이것이 Newman 실행을 데이터 기반으로 만드는 방법입니다: 하나의 컬렉션, 여러 입력. --iteration-count 플래그는 단순히 컬렉션을 정해진 횟수만큼 반복합니다.
--bail 플래그는 Newman에게 컬렉션의 나머지 부분을 실행하는 대신 첫 번째 실패에서 중단하도록 지시합니다. 빠른 피드백 파이프라인에서는 종종 이것이 필요한데, 단 하나의 깨진 요청도 보통 빌드가 실패할 것임을 의미하기 때문입니다. --timeout-request 플래그는 단일 요청이 걸릴 수 있는 시간을 제한하여 응답하지 않는 서비스에서 작업이 멈추는 것을 방지합니다.
--delay-request 플래그는 요청 사이에 일시 중지를 삽입하여 API가 속도 제한을 강제할 때 유용합니다. 그리고 --folder를 사용하면 컬렉션 내의 명명된 폴더만 실행할 수 있으므로, 스모크 테스트 작업은 작은 하위 집합을 실행하고 전체 회귀 테스트 작업은 모든 것을 실행할 수 있습니다. 이러한 옵션 중 어느 것도 Postman GUI의 컬렉션 러너(Collection Runner)에 동일한 스크립트 가능한 형태로 존재하지 않으며, 이들 모두가 Newman이 무인 실행을 위한 실용적인 선택인 이유입니다.
Postman에서 Newman으로 전환할 때 흔히 저지르는 실수
팀이 GUI에서 Newman으로 컬렉션을 처음 가져올 때 몇 가지 문제가 계속해서 나타납니다. 가장 흔한 문제는 하드코딩된 값입니다. 활성 환경에 변수가 설정되어 있어 Postman에서 작동했던 요청이 --environment로 환경 파일이 전달되지 않으면 Newman에서 실패합니다. 항상 환경을 명시적으로 내보내고 제공해야 합니다.
두 번째는 Postman 클라우드에 의존하는 것입니다. 클라우드 동기화 변수를 참조하거나 로그인된 Postman 세션에 연결된 기능을 사용하는 컬렉션은 일반 JSON 파일에서 실행할 때 동일하게 작동하지 않을 수 있습니다. CI에서 사용하기 전에 내보낸 파일을 Newman으로 로컬에서 테스트하세요.
세 번째는 내보낸 파일이 오래될 수 있다는 점을 잊는 것입니다. 저장소에 있는 컬렉션 JSON은 스냅샷입니다. 누군가 Postman에서 컬렉션을 편집하고 다시 내보내지 않으면, 파이프라인은 이전 버전을 계속 실행합니다. 팀은 내보내기를 의도적인 커밋으로 취급하거나, 테스트 정의와 러너가 동일한 도구로 전환하는 규율을 통해 이 문제를 해결합니다.
각 도구를 언제 사용해야 하는가
사람이 작업을 수행할 때는 Postman을 사용하세요. 새로운 API를 설계하고, 실패한 호출을 디버깅하고, 타사 서비스를 탐색하고, 테스트 스위트를 구축하고 개선하는 이 모든 작업은 대화형이며 GUI에 속합니다.
사람이 없을 때는 Newman을 사용하세요. 모든 풀 리퀘스트에서, 야간 스케줄에 따라, 또는 배포 후 스모크 테스트로 스위트를 실행하는 이 모든 작업에는 스크립트에서 실행되고 종료 코드를 통해 보고하는 도구가 필요합니다.
실제로 그 경계는 "작성 vs 실행"입니다. 둘 중 하나를 선택하는 것이 아니라, Postman을 사용하여 생성하고 Newman을 사용하여 자동화하며, 컬렉션 파일이 그 둘 사이에서 작업을 전달합니다. 별도의 러너를 전혀 유지 관리하고 싶지 않다면, Newman 없이 CI에서 Postman 컬렉션 실행하기에 대한 저희 가이드에서 다른 옵션을 다루고 있습니다.
통합된 대안: Apidog
Postman과 Newman 조합을 유지하는 것은 컬렉션을 내보내고, JSON 파일을 동기화하며, 별도의 러너를 관리하는 것을 의미합니다. Apidog는 이 모든 것을 하나의 플랫폼으로 통합합니다. 동일한 앱에서 시각적 어설션으로 API를 설계하고, 요청을 디버깅하며, 자동화된 테스트 시나리오를 구축한 다음, 내장된 명령줄 러너를 사용하여 CI/CD에서 해당 시나리오를 실행할 수 있습니다. 테스트 정의와 실행 엔진이 함께 존재하므로 내보내고 동기화하는 단계가 없습니다.
Apidog는 또한 동일한 워크스페이스에서 API 설계, 목 서버(mock servers) 및 성능 테스트를 포함하므로, 작성한 기능 테스트는 파이프라인에서 실행하는 것과 동일합니다. Apidog를 다운로드하여 테스트 기능을 무료로 사용할 수 있습니다. 이 분야의 도구 비교는 API 테스트를 위한 최고의 Postman 대안 목록을 참조하세요.
자주 묻는 질문
Newman은 Postman을 대체할 수 있나요?
아니요. Newman은 컬렉션을 생성하거나 편집할 수 없으며, 단지 실행만 합니다. 컬렉션을 작성하고 테스트 스크립트를 작성하려면 여전히 Postman 또는 다른 도구가 필요합니다. Newman의 역할은 완성된 작업을 헤드리스(headless) 방식으로 실행하는 것입니다. 이들은 상호 보완적이며, 서로 대체할 수 없습니다.
Newman은 비용이 드나요?
아니요. Newman은 오픈 소스이며 완전히 무료입니다. npm 패키지로 배포됩니다. Postman은 무료 등급과 대규모 팀을 위한 유료 플랜이 있지만, Newman 자체는 사용 방식에 관계없이 비용이 들지 않습니다.
내 Postman 테스트가 Newman에서도 동일하게 작동할까요?
예. Newman은 Postman과 동일한 실행 엔진을 사용하므로, pm.test 어설션과 요청 로직이 동일하게 실행됩니다. Postman 컬렉션 러너(Collection Runner)에서 통과한 컬렉션은 Newman에서도 동일한 결과를 생성하며, 이것이 CI에 안전한 이유입니다.
Newman은 테스트 실패를 어떻게 보고하나요?
Newman은 어떤 테스트가 실패하면 터미널에 요약을 출력하고 0이 아닌 상태 코드로 종료됩니다. 이 종료 코드는 CI 시스템이 실패를 감지하는 방법입니다. Newman은 또한 JUnit XML 및 HTML을 포함한 리포터(reporter)를 지원하므로, 결과는 대시보드와 빌드 보고서에 제공될 수 있습니다.
Node.js를 설치하지 않고 Newman을 실행할 수 있나요?
Newman은 npm 패키지이므로 직접 설치하려면 Node.js가 필요합니다. 이를 피하려면 모든 것을 번들로 제공하는 공식 postman/newman Docker 이미지를 사용하세요. Docker 방식은 빌드 작업에서 Node.js 런타임을 관리하고 싶지 않은 CI 환경에서 흔히 사용됩니다.