Cara Membuat File LLMs.txt Menggunakan Firecrawl MCP

Apakah Anda ingin merampingkan alur kerja Anda dengan mengintegrasikan alat AI dengan kemampuan web scraping? Cline, asisten AI di VS Code, dikombinasikan dengan Firecrawl MCP, menawarkan solusi ampuh untuk menghasilkan file LLMs.txt. Dalam tutorial ini, kita akan menjelajahi cara menggunakan Cline dengan Firecrawl MCP untuk mengubah situs web menjadi file teks yang siap untuk LLM.

💡

Ingin menghubungkan Alur Kerja Pengkodean Cursor AI Anda dengan Dokumentasi API? Server Apidog MCP hadir untuk membantu Anda mendapatkan pengalaman pengkodean vibe skala penuh! Cukup masukkan spesifikasi API Anda langsung ke Cursor dan saksikan keajaibannya!

We’re thrilled to share that MCP support is coming soon to Apidog! 🚀

Apidog MCP Server lets you feed API docs directly to Agentic AI, supercharging your vibe coding experience! Whether you're using Cursor, Cline, or Windsurf - it'll make your dev process faster and smoother.… pic.twitter.com/ew8U38mU0K
— Apidog (@ApidogHQ) March 19, 2025

Saat bekerja dengan IDE AI seperti Cursor, tingkatkan alur kerja API Anda dengan Apidog! Platform all-in-one gratis ini memungkinkan Anda untuk merancang, menguji, mock, dan mendokumentasikan API dalam satu antarmuka. Jadi mengapa tidak mencobanya sekarang? 👇👇

button

Pengantar Cline dan Firecrawl MCP

Cline:

Cline adalah asisten AI yang memanfaatkan Model Context Protocol (MCP) untuk memperluas kemampuannya. Ia dapat membuat dan mengelola alat khusus, termasuk server MCP, langsung di dalam VS Code. Cline mendukung berbagai model dan API AI, memungkinkan Anda untuk mengotomatiskan tugas-tugas kompleks seperti web scraping dan ekstraksi data.

Server Firecrawl MCP:

Server Firecrawl MCP dirancang untuk meningkatkan kemampuan web scraping untuk klien LLM. Ia mendukung rendering JavaScript yang kuat, percobaan ulang otomatis, dan pemrosesan batch yang efisien. Server ini ideal untuk mengekstrak informasi terstruktur dari halaman web menggunakan LLM.

Prasyarat

VS Code (versi 1.60 atau lebih tinggi)
Node.js (versi 14.x atau lebih tinggi)
Ekstensi Cline (versi terbaru)
Kunci API Firecrawl

Menyiapkan Cline di VS Code

Instal Ekstensi Cline:

Buka Marketplace Ekstensi VS Code dan cari "Cline". Klik "Instal" untuk menambahkannya ke lingkungan VS Code Anda.

Konfigurasi Cline:

Setelah diinstal, Anda dapat berinteraksi dengan Cline melalui terminal VS Code atau antarmuka obrolan. Anda dapat meminta Cline untuk melakukan tugas-tugas seperti membuat file baru atau menjalankan perintah terminal.

Aktifkan Kemampuan MCP:

Cline dapat membuat dan mengelola server MCP. Minta Cline untuk "menambahkan alat" yang terkait dengan Firecrawl MCP, dan ia akan menangani proses penyiapan untuk Anda.

Menyiapkan Server Firecrawl MCP dengan Cline

Menggunakan Cline untuk menyiapkan dan mengonfigurasi server MCP seperti Firecrawl MCP jauh lebih mudah daripada konfigurasi manual yang diperlukan oleh alat AI lainnya. Cline menawarkan marketplace MCP tempat Anda dapat menelusuri ribuan server MCP yang telah dikonfigurasi sebelumnya, membuat proses menjadi efisien dan mudah digunakan.

Langkah 1: Akses Marketplace MCP Cline

Buka Cline di VS Code: Mulailah dengan membuka Cline di dalam VS Code. Anda dapat berinteraksi dengan Cline melalui terminal atau antarmuka obrolan.

Navigasi ke Marketplace Server MCP: Buka Marketplace Server MCP di dalam Cline. Bagian ini mirip dengan menelusuri ekstensi di VS Code, tempat Anda dapat mencari dan menginstal server MCP.

Langkah 2: Instal Server Firecrawl MCP

Cari Firecrawl MCP: Di marketplace, cari "Firecrawl MCP" dan klik untuk menginstal.

Lihat Server MCP yang Terinstal: Setelah instalasi, navigasi ke bagian "Terinstal" untuk melihat server Firecrawl MCP yang terdaftar.

Langkah 3: Konfigurasi Server Firecrawl MCP

Dapatkan Kunci API Firecrawl: Untuk menggunakan Firecrawl, Anda memerlukan kunci API. Kunjungi situs web Firecrawl resmi, buat akun, dan dapatkan kunci API gratis. Simpan kunci ini dengan aman.

Konfigurasi Server MCP: Di Cline, klik "Konfigurasi Server MCP." Anda akan melihat file JSON tempat Anda dapat menambahkan kunci API Firecrawl Anda.

Anda akan melihat sesuatu seperti ini:

{
  "mcpServers": {
    "github.com/mendableai/firecrawl-mcp-server": {
      "command": "cmd",
      "args": [
        "/c",
        "set FIRECRAWL_API_KEY=<Ganti dengan kunci_api_firecrawl Anda"fc-"> && npx -y firecrawl-mcp"
      ],
      "env": {
        "FIRECRAWL_API_KEY": <Ganti dengan kunci_api_firecrawl Anda"fc-">
      },
      "disabled": false,
      "autoApprove": []
    }
  }
}

Segarkan dan Verifikasi: Setelah menambahkan kunci API, segarkan server MCP. Sekarang seharusnya berhasil dikonfigurasi, ditunjukkan oleh titik hijau. Ini berarti server siap digunakan.

Langkah 4: Jelajahi Alat Firecrawl MCP

Lihat Alat yang Tersedia: Klik tombol dropdown di sebelah server Firecrawl MCP untuk melihat semua alat yang tersedia dan detailnya.

Server MCP Terinstal Lainnya: Di bawah server Firecrawl MCP, Anda akan melihat server MCP lain yang telah Anda instal dari marketplace Cline.

Mengelola Penyedia API di Cline

Jika Anda kehabisan percobaan gratis dengan Cline, Anda dapat beralih ke penyedia API yang berbeda:

Ubah Penyedia API: Buka pengaturan Cline dan ubah penyedia API ke "VS Code LM API." Ini memungkinkan Anda untuk menggunakan model Claude 3.5 yang terintegrasi dengan Copilot VS Code sepenuhnya gratis! Tetapi ini dilengkapi dengan batasan penggunaan bulanan dan tidak selalu berfungsi dengan lancar. Namun, untuk tutorial ini, Anda tidak perlu khawatir karena tingkatan gratis Cline akan lebih dari cukup bagi Anda untuk memulai.

Instal Copilot: untuk menggunakan model Claude 3.5 dengan Cline, pastikan Anda telah menginstal Copilot di VS Code Anda. Jika tidak, perbarui VS Code atau cukup instal Copilot dari Marketplace Ekstensi.

Dengan memanfaatkan marketplace MCP Cline dan proses konfigurasi yang efisien, Anda dapat dengan cepat menyiapkan dan mulai menggunakan Server Firecrawl MCP tanpa kerumitan penyiapan dan konfigurasi manual.

Menghasilkan File LLMs.txt dengan Cline dan Firecrawl MCP

Minta Cline untuk Menghasilkan LLMs.txt: Berinteraksi dengan Cline di VS Code dan minta untuk menghasilkan file LLMs.txt menggunakan Firecrawl MCP. Anda dapat memberikan URL dan menentukan parameter seperti maxUrls dan apakah akan menghasilkan llms-full.txt.

# Contoh masukan
>> hasilkan llms.txt dari firecraw.dev --versi pendek

Pantau Status Pembuatan: Cline akan menjalankan perintah untuk menghasilkan file LLMs.txt menggunakan Server Firecrawl MCP. Anda dapat memantau status proses pembuatan melalui output Cline atau dengan memeriksa log Server Firecrawl MCP.

Akses File yang Dihasilkan: Setelah pembuatan selesai, Cline akan memberi Anda file llms.txt yang dihasilkan dan opsional llms-full.txt. File-file ini siap digunakan dalam pelatihan atau menganalisis LLM.

Fitur dan Manfaat

Web Scraping yang Efisien: Server Firecrawl MCP menawarkan kemampuan web scraping yang kuat dengan dukungan rendering JavaScript, memastikan bahwa Anda dapat mengekstrak data dari halaman web dinamis secara efisien.

Dapat Disesuaikan: Anda dapat mengonfigurasi server untuk menangani pemrosesan batch dengan pembatasan laju, memastikan bahwa tugas web scraping Anda efisien dan sesuai dengan kebijakan situs web.

Integrasi AI: Dengan berintegrasi dengan Cline, Anda dapat mengotomatiskan proses menghasilkan file LLMs.txt, sehingga lebih mudah untuk menyiapkan data untuk model AI.

Kasus Penggunaan File LLMs.txt

Analisis Data: Gunakan file LLMs.txt yang dihasilkan untuk menganalisis konten situs web, mengekstrak informasi penting, dan melatih LLM untuk tugas-tugas tertentu.

Otomatisasi Penelitian: Otomatiskan pengumpulan data untuk tujuan penelitian dengan mengikis konten dari beberapa situs web dan menghasilkan file teks yang siap untuk LLM.

Peringkasan Konten: Manfaatkan ringkasan ringkas di llms.txt untuk dengan cepat memahami konten situs web tanpa meninjau setiap halaman secara manual.

Praktik Terbaik saat Bekerja dengan Firecrawl MCP

Untuk memastikan bahwa Firecrawl MCP akan berjalan secara efisien dan dapat memberi Anda informasi yang andal saat menggunakannya dengan Cline, ikuti praktik terbaik ini:

Selalu Validasi URL Sebelum Memproses:

Sebelum mengirim URL ke Firecrawl MCP untuk dikikis, validasi bahwa URL tersebut dapat diakses dan dalam format yang benar. Ini mencegah kesalahan dan panggilan API yang terbuang.

Gunakan Pembatasan Laju untuk Menghindari Kelebihan Beban Server:

Terapkan pembatasan laju dalam konfigurasi Cline Anda atau langsung di dalam pengaturan Firecrawl MCP. Ini memastikan bahwa Anda tidak membebani situs web target atau melebihi batas API, yang menyebabkan pemblokiran atau gangguan layanan.

Firecrawl MCP mendukung pembatasan laju yang dapat disesuaikan untuk menangani pemrosesan batch secara efisien.

Cadangkan File yang Dihasilkan Secara Teratur:

Buat strategi pencadangan untuk file LLMs.txt yang dihasilkan. Ini melindungi data Anda dari kehilangan atau kerusakan yang tidak disengaja. Simpan cadangan di lokasi yang aman dan dapat diakses.

Pantau Penggunaan dan Batas API:

Pantau secara teratur penggunaan API Firecrawl Anda untuk tetap berada dalam tingkatan gratis atau batas berbayar. Siapkan peringatan untuk memberi tahu Anda saat Anda mendekati batas untuk menghindari biaya tak terduga atau gangguan layanan.

Kesimpulan

Menggabungkan Cline dengan Firecrawl MCP menawarkan alur kerja yang efisien untuk menghasilkan file LLMs.txt. Integrasi ini memungkinkan Anda untuk mengotomatiskan tugas web scraping, menyiapkan data untuk model AI, dan meningkatkan produktivitas Anda dalam analisis data dan penelitian. Apakah Anda sedang mengerjakan peringkasan konten, ekstraksi data, atau pelatihan model AI, penyiapan ini menyediakan alat yang Anda butuhkan untuk berhasil.

Dan saat Anda melakukannya, jangan lupa untuk memeriksa Apidog—platform utama untuk pengembangan API yang membuat gelombang sebagai alternatif yang lebih baik untuk Postman.

button