Apidog

オールインワン協働API開発プラットフォーム

API設計

APIドキュメント

APIデバッグ

APIモック

API自動テスト

無料会員登録
ダウンロードMacとLinux版はこちら
Home

/

Firecrawl MCPを使用してLLMs.txtファイルを生成する方法

Firecrawl MCPを使用してLLMs.txtファイルを生成する方法

@apidog

@apidog

Updated on 3月 21, 2025

AIツールとウェブスクレイピング機能を統合して、ワークフローを効率化しようとしていますか？ Clineは、VS CodeのAIアシスタントであり、Firecrawl MCPと組み合わせることで、LLMs.txtファイルを生成する強力なソリューションを提供します。このチュートリアルでは、ClineとFirecrawl MCPを使用して、ウェブサイトをLLM-readyのテキストファイルに変換する方法を探ります。

💡
Cursor AI Coding WorkflowをAPIドキュメントと接続したいですか？ Apidog-mcp-serverは、フルスケールのバイブコーディング体験を得るための助けとなります！ API仕様を直接Cursorに入力するだけで、魔法が始まります！

CursorのようなAI IDEで作業しながら、APIワークフローをApidogで強化しましょう！ この無料のオールインワンプラットフォームでは、設計、テスト、モック、およびドキュメント化を1つのインターフェースで行うことができます。さあ、今すぐ試してみませんか？ 👇👇

ボタン

ClineとFirecrawl MCPの紹介

Cline:

Clineは、モデルコンテキストプロトコル（MCP）を活用して機能を拡張するAIアシスタントです。カスタムツール、MCPサーバーを含む、をVS Code内で直接作成し管理できます。ClineはさまざまなAIモデルとAPIをサポートしており、ウェブスクレイピングやデータ抽出などの複雑なタスクを自動化することができます。

Firecrawl MCPサーバー:

Firecrawl MCP Serverは、LLMクライアント向けにウェブスクレイピング機能を強化することを目的としています。強力なJavaScriptレンダリング、再試行の自動化、および効率的なバッチ処理をサポートします。このサーバーは、LLMsを使用してウェブページから構造化された情報を抽出するのに最適です。

ファイヤークロールを使用してウェブデータをスクレイピングする方法（初心者向けチュートリアル）
データを任意のウェブサイトから抽出し、スケールで洞察を得る能力を想像してみてください—すべて数行のコードで実現できます。まるで魔法のようですよね？実際に、Firecrawlがこれを可能にします。 この初心者向けガイドでは、Firecrawlについて知っておくべきすべてのことを、インストールから高度なデータ抽出技術まで案内します。あなたが開発者であれ、データアナリストであれ、ウェブスクレイピングに興味があるだけの方であれ、このチュートリアルはFirecrawlの使い始めとワークフローへの統合を手助けします。 💡始める前に、クイックヒントです：今すぐ無料でApidogをダウンロードしましょう…
Apidog Blogapidog

要件

  • VS Code（バージョン1.60以上）
  • Node.js（バージョン14.x以上）
  • Cline拡張機能（最新バージョン）
  • Firecrawl APIキー

VS CodeでのClineの設定

Cline拡張機能をインストールする:

VS Codeの拡張機能マーケットプレイスを開き、「Cline」と検索します。「インストール」をクリックして、VS Code環境に追加します。

vs codeにclineを追加

Clineの設定:

インストール後、VS Codeのターミナルまたはチャットインターフェースを通じてClineと対話できます。Clineに新しいファイルを作成したり、ターミナルコマンドを実行するように依頼できます。

MCP機能を有効にする:

ClineはMCPサーバーを作成し管理できます。Clineに「Firecrawl MCPに関連するツールを追加する」と依頼すると、設定プロセスを自動で処理します。

Clineを使用したFirecrawl MCPサーバーの設定

Clineを使用してFirecrawl MCPのようなMCPサーバーを設定し構成することは、他のAIツールによる手動設定よりもずっと簡単です。ClineはMCPマーケットプレイスを提供しており、数千の事前構成済みMCPサーバーの中からブラウズできるため、プロセスが効率化され、ユーザーフレンドリーです。

ステップ1: ClineのMCPマーケットプレイスにアクセス

VS CodeでClineを開く: VS Code内でClineを開くことから始めます。ターミナルやチャットインターフェースを通じてClineと対話できます。

MCPサーバーマーケットプレイスに移動: Cline内のMCPサーバーマーケットプレイスに移動します。このセクションは、VS Codeでの拡張機能のブラウジングと似ており、MCPサーバーを検索してインストールできます。

cline mcp marketplace

ステップ2: Firecrawl MCPサーバーをインストール

Firecrawl MCPを検索する: マーケットプレイスで「Firecrawl MCP」を検索し、インストールのためにクリックします。

インストール済みのMCPサーバーを表示する: インストール後、「インストール済み」セクションに移動し、Firecrawl MCPサーバーが表示されていることを確認します。

clineにfirecrawl mcpを追加

ステップ3: Firecrawl MCPサーバーを構成

Firecrawl APIキーを取得する: Firecrawlを使用するには、APIキーが必要です。公式Firecrawlウェブサイトを訪れ、アカウントを作成して無料のAPIキーを取得します。このキーを安全に保存してください。

MCPサーバーの設定: Clineの中で「MCPサーバーを構成」をクリックします。そこでFirecrawl APIキーを追加できるJSONファイルが表示されます。

cline mcpサーバーの構成

次のようなものが表示されるはずです：

{
  "mcpServers": {
    "github.com/mendableai/firecrawl-mcp-server": {
      "command": "cmd",
      "args": [
        "/c",
        "set FIRECRAWL_API_KEY=<Replace with your firecrawl_api_key"fc-"> && npx -y firecrawl-mcp"
      ],
      "env": {
        "FIRECRAWL_API_KEY": <Replace with your firecrawl_api_key"fc-">
      },
      "disabled": false,
      "autoApprove": []
    }
  }
}

リフレッシュして確認する: APIキーを追加したら、MCPサーバーをリフレッシュします。現在、緑の点で示されるように成功裏に構成されているはずです。これはサーバーが使用可能であることを意味します。

ステップ4: Firecrawl MCPツールを探る

利用可能なツールを見る: Firecrawl MCPサーバーの隣のドロップダウンボタンをクリックして、すべての利用可能なツールとその詳細を表示します。

firecrawlのmcpツールを見る

他のインストール済みのMCPサーバー: Firecrawl MCPサーバーの下には、Clineのマーケットプレイスからインストールした他のMCPサーバーが表示されます。

ClineでのAPIプロバイダの管理

Clineでの無料トライアルを使い果たした場合、別のAPIプロバイダに切り替えることができます：

APIプロバイダを変更する: Clineの設定に移動し、APIプロバイダを「VS Code LM API」に変更します。これにより、VS CodeのCopilotに統合されたClaude 3.5モデルを完全に無料で使用できます！ ただし、月間使用制限があり、常にスムーズに動作するわけではありません。しかし、このチュートリアルに関しては、Clineの無料プランで始めるには十分です。

clineのapiプロバイダを変更

Copilotをインストールする: ClineでClaude 3.5モデルを使用するには、VS CodeにCopilotがインストールされていることを確認してください。インストールされていない場合は、VS Codeを更新するか、または単に拡張機能マーケットプレイスからCopilotをインストールしてください。

ClineのMCPマーケットプレイスと効率的な設定プロセスを活用することで、手動設定や構成の煩わしさなしに、Firecrawl MCPサーバーを迅速に設定し、使用を開始できます。

ClineとFirecrawl MCPを使用したLLMs.txtファイルの生成

ClineにLLMs.txtを生成するように依頼する: VS CodeでClineと対話し、Firecrawl MCPを使用してLLMs.txtファイルを生成するように依頼します。URLを提供し、maxUrlsのようなパラメータや、llms-full.txtを生成するかどうかを指定できます。

# サンプル入力
>> firecraw.devからllms.txtを生成 --短縮版

生成状況を監視する: ClineはFirecrawl MCPサーバーを使用してLLMs.txtファイルを生成するコマンドを実行します。Clineの出力またはFirecrawl MCPサーバーログを確認することで、生成プロセスの状況を監視できます。

llms.txtファイルを表示

生成されたファイルにアクセスする: 生成が完了すると、Clineは生成されたllms.txtファイルと、必要に応じてllms-full.txtファイルを提供します。これらのファイルは、LLMsのトレーニングや分析にすぐに使用できます。

機能と利点

効率的なウェブスクレイピング: Firecrawl MCPサーバーは、JavaScriptレンダリングサポートを提供し、動的ウェブページから効率的にデータを抽出できる強力なウェブスクレイピング機能を提供します。

カスタマイズ可能: サーバーを構成してバッチ処理を扱うことができ、制限を設けてウェブスクレイピングタスクを効率的に実行し、ウェブサイトの方針に準拠することができます。

AI統合: Clineと統合することで、LLMs.txtファイルを生成するプロセスを自動化し、AIモデル用のデータ準備を容易にできます。

LLMs.txtファイルの使用事例

データ分析: 生成されたLLMs.txtファイルを使用してウェブサイトのコンテンツを分析し、重要な情報を抽出し、特定のタスク用にLLMsをトレーニングします。

研究の自動化: 複数のウェブサイトからのコンテンツをスクレイピングし、LLM-readyのテキストファイルを生成することで、研究目的のデータ収集を自動化します。

コンテンツ要約: llms.txtの簡潔な要約を活用して、各ページを手動で確認することなくウェブサイトの内容を迅速に理解します。

Firecrawl MCPを使用する際のベストプラクティス

処理を行う前にURLを常に検証する:

ウェブスクレイピングのためにFirecrawl MCPにURLを送信する前に、それらがアクセス可能で正しい形式であることを確認します。これにより、エラーや無駄なAPIコールを防ぎます。

サーバーの過負荷を避けるためにレート制限を使用する:

Clineの設定やFirecrawl MCP設定内でレート制限を実装してください。これにより、ターゲットウェブサイトの過負荷やAPI制限の超過を防ぎ、ブロックやサービスの中断を避けることができます。Firecrawl MCPは、効率的なバッチ処理を扱うためのカスタマイズ可能なレート制限をサポートしています。

生成されたファイルの定期的なバックアップ:

生成されたLLMs.txtファイルに対するバックアップ戦略を作成します。これにより、データの偶発的な損失や破損から保護されます。バックアップは安全でアクセスしやすい場所に保管してください。

API使用量と制限の監視:

Firecrawl APIの使用量を定期的に監視し、無料プランまたは有料プランの制限内に収めるようにします。制限に近づいている場合に通知するアラートを設定し、予期しない料金やサービスの中断を避けます。

結論

ClineとFirecrawl MCPを組み合わせることで、LLMs.txtファイルの生成のための効率的なワークフローが提供されます。この統合により、ウェブスクレイピングタスクを自動化し、AIモデル用のデータを準備し、データ分析や研究での生産性を向上させることができます。コンテンツの要約、データの抽出、AIモデルのトレーニングに取り組んでいる場合でも、このセットアップは成功するために必要なツールを提供します。

その際、Apidogもぜひチェックしてください。API開発のための究極のプラットフォームで、Postmanのより良い代替品として注目を集めています。

ボタン