Testfullyとは？

API出荷後も監視するPostmanの代替ツールを探しているなら、Testfullyに出会ったことがあるかもしれません。APIテストツールのまとめ記事にもよく登場し、その特徴は一般的なリクエストクライアントよりも広範です。

では、Testfullyとは一体何で、あなたのワークフローのどこに適合するのでしょうか？

このガイドでは、Testfullyを分かりやすく解説します。Testfullyが何をするのか、その3つの主要な部分がどのように連携するのか、CLIがCI/CDにどう適合するのか、そして何をインポートできるのかを学びます。ベンダーニュートラルな視点を保ちます。最後に、API設計とモックも必要とする場合にApidogがどこに適合するかを述べます。

Testfullyとは？

Testfully（testfully.io）は、APIテスト、監視、ドキュメント作成プラットフォームです。デスクトップおよびブラウザGUIクライアントを、ノーコードの自動テストとスケジュールされた稼働監視と組み合わせて提供します。

核となるアイデアは、APIライフサイクルの2つのフェーズに対応する1つのツールです。API構築中にテストし、公開後も監視を続けます。ほとんどのリクエストクライアントは最初のフェーズで止まりますが、Testfullyは両方をカバーします。

Windows、macOS、Linuxで動作し、ブラウザ版もあります。Testfullyには2つの形態があります。データが自分のマシンに残るオフラインモードと、チームコラボレーションのためのクラウドモードです。どちらのモードも同じ機能セットを備えているため、オフラインを選択しても機能が損なわれることはありません。

この分野のクライアントを広く調査したい場合は、REST APIクライアントのまとめをご覧ください。

Testfullyの3つの柱

Testfullyは、クライアント、自動テスト、監視の3つの部分に分けると理解しやすくなります。それぞれが前の部分の上に構築されています。

1. APIクライアント

クライアントは、リクエストを作成して送信する場所です。REST、GraphQL、XMLを処理するため、ほとんどのHTTPベースのサービスをアプリを離れることなく利用できます。

リクエストはコレクションとフォルダーに整理します。環境と変数を定義することで、URLやトークンを書き換えることなく、ローカル、ステージング、プロダクションを切り替えることができます。リクエストチェイニングにより、あるレスポンスからの値を次のリクエストに渡すことができ、「ログインしてトークンを取得し、保護されたエンドポイントを呼び出す」といったフローに役立ちます。

OAuth2を含む認証機能が組み込まれています。UIでカバーできないものについては、JavaScriptスクリプトに落とし込み、リクエストとレスポンスを整形することができます。

これは、最新のクライアントを使用したことがある人にとってはなじみのある領域です。特にオフラインファーストの動作が必要な場合は、最高のオフラインAPIクライアントに関するガイドでトレードオフを解説しています。

2. ノーコード自動テスト

2つ目の柱は、単一のリクエストを繰り返し可能なテストに変えることです。リクエストにアサーションを追加し、リクエストをフォルダーにグループ化し、フォルダー全体をスイートとして実行します。

キーワードはノーコードです。テストスクリプトを書かずにチェックを作成できるため、テストフレームワークの管理を望まないQA担当者やプロダクトエンジニアの障壁を下げます。カスタムロジックが必要なチェックの場合でもJavaScriptが利用できるため、制約はありません。

Testfullyはテスト実行の完全な履歴を保持します。この履歴は、成功していたエンドポイントがいつから失敗し始めたのかを発見したり、チームに回帰を証明したりするのに役立ちます。

これは、リクエストクライアントとテストプラットフォームを分けるレイヤーです。リクエストを一度送信することは、APIが現在動作していることを示します。保存された繰り返し可能なテストは、次のデプロイ後も動作していることを示します。

3. スケジュールされた監視とアラート

3つ目の柱は、Testfullyを際立たせるものです。Testfullyはテストをスケジュールに従って実行し、失敗したときにアラートを発します。

ヘルスチェックと機能テストを24時間体制で実行できます。何らかの問題が発生した場合、Testfullyはメール、SMS、Slack、またはPagerDutyを通じて通知します。PagerDutyはオンコール体制のチームにとって重要であり、APIチェックの失敗が適切な担当者に自動的にページを送信できます。

これにより、ループが閉じられます。テストのために書いたアサーションが本番環境のモニターになります。別のオブザーバビリティツールでチェックを再構築する必要はありません。テストを一度書いて、それをスケジュールに従って本番環境に向けます。

ほとんどのAPIクライアントには監視機能が全くありません。この組み込みの監視とアラート機能こそがTestfullyの最も明確な差別化要因であり、チームがリクエストのみのツールよりもTestfullyを選ぶ主な理由です。

CI/CD用Testfully Run CLI

ラップトップでのみ実行されるテストは、バグを見逃しがちです。Testfullyは、パイプラインに適合するコマンドラインランナーでこれを解決します。

CLIはnpmからインストールします。

npm install -g @testfully/cli

その後、testfully runコマンドで保存されたリクエストまたはフォルダーを実行します。

testfully run [options] -- [files]

オプションにより、特定のリクエストまたはフォルダーをターゲットにしたり、環境を選択したり、グローバル変数をロードしたりできます。ランナーは2つのレポーターをサポートしています。人間が読みやすいコンソール出力用のcliと、CIシステムが解析できるJUnit XMLレポート用のjunitです。

JUnitレポーターはパイプラインにとって重要です。パスを指定すると、TestfullyはCIツールがビルドの成功または失敗を判断するために読み取れるレポートを作成します。

testfully run rick-and-morty.json --reporters junit --reporter-junit-export ./junit-report.xml

CLIは標準のNode.jsパッケージとして提供されるため、GitHub Actions、GitLab CI、Jenkins、またはNodeがインストールされている任意のランナーに組み込むことができます。クラウドリソースを必要とせずにホスト上で実行されるため、インターネットアクセスなしでもローカルAPIテストが機能します。

パイプラインで自動APIチェックを設定している場合は、APIテストのCI/CDベストプラクティスに関するガイドで、あらゆるランナーに適用されるパターンを解説しています。

インポートサポート：PostmanとInsomnia

コレクションが固定されていると、ツールの切り替えは困難です。Testfullyはインポート機能でその摩擦を軽減します。

PostmanとInsomniaの両方からAPIコレクションを取り込むことができます。つまり、既存のリクエスト、環境、構造をすべて手作業で再構築することなく移行できます。

これは、すでに別のクライアントに投資しているチームにとって最も重要です。移行を検討している場合、Postmanの代替ツールのリストで、Testfullyを他のツールと比較検討しています。

Testfullyの料金

プランは変更される可能性があるため、契約前に料金を確認する価値があります。以下は、Testfullyの料金ページに基づいた執筆時点の構造です。

無料のDeveloperプランには、CLIとコレクションランナーが無制限で含まれており、個人開発者や小規模チームにとっては非常に寛大です。有料プランでは、コラボレーション、ガバナンス、コンプライアンス機能が利用可能になります。予算を立てる前に、必ず公式の料金ページで現在の価格を確認してください。

Testfullyは誰が使うべきか？

Testfullyは特定のニーズにうまく適合します。次のような場合に利用を検討してください。

• APIのテストと本番環境での監視の両方を1つのツールで行いたい場合。
• APIチェックと連携したオンコールアラート（PagerDuty、Slack、SMS）が必要な場合。
• ノーコードテストを好むが、エスケープハッチとしてJavaScriptも使いたい場合。
• 機能が削られていない、フル機能のオフラインモードが必要な場合。
• PostmanまたはInsomniaから移行中で、コレクションを保持したい場合。

主な仕事がアドホックなリクエストの送信である場合、より軽量な無料APIクライアントで十分かもしれません。監視機能が組み込まれている必要がある場合は、Testfullyの統合アプローチが魅力となります。

Apidogが適合する場所

Testfullyはテストと監視の点で強力です。もしチームがAPIの設計とモックも必要とするなら、より広い視野を知ることが役立ちます。

Apidogは、設計、テスト、モック、ドキュメント作成を1か所でカバーするオールインワンAPIプラットフォームです。ビジュアルなOpenAPIデザイナーで契約を設計し、ノーコードでモックサーバーを生成し、ビジュアルアサーションで自動テストシナリオを構築し、インタラクティブなドキュメントを公開します。REST、GraphQL、gRPC、WebSocket、SOAP、Socket.IOをサポートし、デスクトップアプリ、ウェブアプリ、CLIとして動作します。

CI/CDの場合、apidog runコマンドは、保存されたテストシナリオとスイートをパイプラインで実行します。cli、html、json、junitレポーター、-dによるデータ駆動型実行、-eによる環境選択をサポートしています。Apidog CLI完全ガイドと、コマンドラインからREST APIをテストする方法のウォークスルーで詳細を学ぶことができます。

率直な違いはスコープです。Testfullyはテストと監視の側面に焦点を当てており、そのスケジュールされた監視は真の強みです。Apidogは、設計からモック、ドキュメント作成まで、完全なAPI契約ライフサイクルに焦点を当て、その途中にテストがあります。Apidogは、Testfullyのようにオンコールページングを伴うスケジュールされた本番稼働監視は提供していません。ワークフローのどの側面が最も必要かに基づいて選択してください。仕様からAPIを構築し、バックエンドが存在する前にモックが必要なチームは、デザインファーストのプラットフォームに傾倒する傾向があります。

FAQ

Testfullyは無料ですか？

はい、無料のDeveloperプランが$0で提供されています。これには、1つのオフラインと1つのクラウドワークスペース、最大5ユーザー、無制限のコレクションランナー、すべてのコア機能、およびCLIが含まれます。有料プランはTeamエディションで月額$14/ユーザー（年間払い）から始まります。

TestfullyにはCLIがありますか？

はい。Testfully CLIはnpm install -g @testfully/cliでnpmからインストールできます。保存されたリクエストとフォルダーはtestfully runで実行でき、CI/CDパイプライン用のcliおよびjunitレポーターをサポートしています。

Testfullyはどのプロトコルをサポートしていますか？

TestfullyクライアントはHTTP上でREST、GraphQL、XMLをサポートしています。環境、変数、リクエストチェイニング、OAuth2、およびカスタムロジックのためのJavaScriptスクリプトを扱います。

TestfullyはPostmanからインポートできますか？

はい。TestfullyはPostmanとInsomniaの両方からコレクションをインポートできるため、既存のリクエストと環境を手作業で再構築することなく移行できます。

Testfullyは通常のAPIクライアントと何が異なりますか？

組み込みの監視機能です。Testfullyはテストをスケジュールに従って実行し、APIが失敗した場合にメール、SMS、Slack、またはPagerDutyを通じてアラートを発します。ほとんどのリクエストクライアントはリクエストを送信するだけで、監視レイヤーは持っていません。

TestfullyはPostmanの良い代替ツールですか？

はい、特にテストと本番監視を1つのツールで行いたい場合に良い選択肢となります。より広範な比較については、APIテストに最適なPostmanの代替ツールのまとめをご覧ください。