Bạn có đang tìm cách tối ưu hóa quy trình làm việc của mình bằng cách tích hợp các công cụ AI với khả năng thu thập dữ liệu web không? Cline, một trợ lý AI trong VS Code, kết hợp với Firecrawl MCP, cung cấp một giải pháp mạnh mẽ để tạo ra các tệp LLMs.txt. Trong hướng dẫn này, chúng ta sẽ khám phá cách sử dụng Cline với Firecrawl MCP để biến các trang web thành các tệp văn bản sẵn sàng cho LLM.
We’re thrilled to share that MCP support is coming soon to Apidog! 🚀
— Apidog (@ApidogHQ) March 19, 2025
Apidog MCP Server lets you feed API docs directly to Agentic AI, supercharging your vibe coding experience! Whether you're using Cursor, Cline, or Windsurf - it'll make your dev process faster and smoother.… pic.twitter.com/ew8U38mU0K
Trong quá trình làm việc với các IDE AI như Cursor, hãy tăng cường quy trình API của bạn với Apidog! Nền tảng miễn phí, tất cả trong một này cho phép bạn thiết kế, kiểm tra, mô phỏng, và tài liệu API trong một giao diện duy nhất. Vậy tại sao không thử ngay bây giờ? 👇👇
Giới thiệu về Cline và Firecrawl MCP
Cline:
Cline là một trợ lý AI tận dụng Giao thức Ngữ cảnh Mô hình (MCP) để mở rộng khả năng của nó. Nó có thể tạo và quản lý các công cụ tùy chỉnh, bao gồm các máy chủ MCP, trực tiếp trong VS Code. Cline hỗ trợ nhiều mô hình AI và API, cho phép bạn tự động hóa các nhiệm vụ phức tạp như thu thập dữ liệu web và trích xuất dữ liệu.
Máy chủ Firecrawl MCP:
Máy chủ Firecrawl MCP được thiết kế để tăng cường khả năng thu thập dữ liệu web cho các khách hàng LLM. Nó hỗ trợ kết xuất JavaScript mạnh mẽ, tự động thử lại và xử lý hàng loạt hiệu quả. Máy chủ này lý tưởng cho việc trích xuất thông tin có cấu trúc từ các trang web bằng cách sử dụng LLM.
Yêu cầu cần có
- VS Code (phiên bản 1.60 trở lên)
- Node.js (phiên bản 14.x trở lên)
- Mở rộng Cline (phiên bản mới nhất)
- Khóa API Firecrawl
Thiết lập Cline trong VS Code
Cài đặt Mở rộng Cline:
Mở Thị trường Mở rộng của VS Code và tìm kiếm "Cline". Nhấp vào "Cài đặt" để thêm nó vào môi trường VS Code của bạn.
Cấu hình Cline:
Sau khi cài đặt, bạn có thể tương tác với Cline thông qua terminal của VS Code hoặc giao diện trò chuyện. Bạn có thể yêu cầu Cline thực hiện các tác vụ như tạo tệp mới hoặc thực hiện các lệnh trong terminal.
Kích hoạt khả năng MCP:
Cline có thể tạo và quản lý các máy chủ MCP. Hãy yêu cầu Cline "thêm một công cụ" liên quan đến Firecrawl MCP, và nó sẽ xử lý quá trình thiết lập cho bạn.
Thiết lập Máy chủ Firecrawl MCP với Cline
Sử dụng Cline để thiết lập và cấu hình một máy chủ MCP như Firecrawl MCP dễ dàng hơn nhiều so với các cấu hình thủ công cần thiết bởi các công cụ AI khác. Cline cung cấp một thị trường MCP nơi bạn có thể duyệt qua hàng ngàn máy chủ MCP đã được cấu hình sẵn, giúp quy trình trở nên gọn gàng và thân thiện với người dùng.
Bước 1: Truy cập Thị trường MCP của Cline
Mở Cline trong VS Code: Bắt đầu bằng cách mở Cline trong VS Code. Bạn có thể tương tác với Cline qua terminal hoặc giao diện trò chuyện.
Đi đến Thị trường Máy chủ MCP: Đi đến Thị trường Máy chủ MCP trong Cline. Phần này tương tự như việc duyệt qua các tiện ích mở rộng trong VS Code, nơi bạn có thể tìm kiếm và cài đặt các máy chủ MCP.
Bước 2: Cài đặt Máy chủ Firecrawl MCP
Tìm kiếm Firecrawl MCP: Trong thị trường, tìm kiếm "Firecrawl MCP" và nhấp vào nó để cài đặt.
Xem Các Máy chủ MCP Đã Cài Đặt: Sau khi cài đặt, đi đến phần "Đã cài đặt" để xem máy chủ Firecrawl MCP được liệt kê.
Bước 3: Cấu hình Máy chủ Firecrawl MCP
Nhận Khóa API Firecrawl: Để sử dụng Firecrawl, bạn cần một khóa API. Hãy truy cập vào trang web Firecrawl chính thức, tạo một tài khoản, và nhận khóa API miễn phí. Lưu trữ khóa này một cách an toàn.
Cấu hình Máy chủ MCP: Trong Cline, nhấp vào "Cấu hình các Máy chủ MCP." Bạn sẽ thấy một tệp JSON nơi bạn có thể thêm khóa API Firecrawl của mình.
Bạn sẽ thấy một cái gì đó như thế này:
{
"mcpServers": {
"github.com/mendableai/firecrawl-mcp-server": {
"command": "cmd",
"args": [
"/c",
"set FIRECRAWL_API_KEY=<Thay thế bằng khóa firecrawl_api_key"fc-> && npx -y firecrawl-mcp"
],
"env": {
"FIRECRAWL_API_KEY": <Thay thế bằng khóa firecrawl_api_key"fc->
},
"disabled": false,
"autoApprove": []
}
}
}Tải lại và Xác minh: Sau khi thêm khóa API, hãy tải lại máy chủ MCP. Nó sẽ được cấu hình thành công, được chỉ ra bằng một dấu chấm xanh. Điều này có nghĩa là máy chủ đã sẵn sàng để sử dụng.
Bước 4: Khám phá Các Công cụ Firecrawl MCP
Xem Các Công cụ Có Sẵn: Nhấp vào nút dropdown bên cạnh máy chủ Firecrawl MCP để xem tất cả các công cụ có sẵn và chi tiết của chúng.
Các Máy chủ MCP Khác Đã Cài Đặt: Dưới máy chủ Firecrawl MCP, bạn sẽ thấy các máy chủ MCP khác mà bạn đã cài đặt từ thị trường của Cline.
Quản lý Nhà Cung Cấp API trong Cline
Nếu bạn hết lượt dùng thử miễn phí với Cline, bạn có thể chuyển sang nhà cung cấp API khác:
Thay đổi Nhà Cung Cấp API: Đi đến cài đặt của Cline và thay đổi nhà cung cấp API thành "VS Code LM API." Điều này cho phép bạn sử dụng mô hình Claude 3.5 tích hợp với Copilot của VS Code hoàn toàn miễn phí! Nhưng điều này đi kèm với giới hạn sử dụng hàng tháng và không phải lúc nào cũng hoạt động trơn tru. Tuy nhiên, trong hướng dẫn này, bạn không cần lo lắng gì nhiều vì gói miễn phí của Cline sẽ đủ cho bạn bắt đầu.
Cài đặt Copilot: để sử dụng mô hình Claude 3.5 với Cline, hãy đảm bảo rằng bạn đã cài đặt Copilot trong VS Code của mình. Nếu không, hãy cập nhật VS Code hoặc đơn giản cài đặt Copilot từ Thị trường Mở rộng.
Bằng cách tận dụng thị trường MCP của Cline và quy trình cấu hình gọn gàng, bạn có thể nhanh chóng thiết lập và bắt đầu sử dụng Máy chủ Firecrawl MCP mà không gặp rắc rối với việc thiết lập và cấu hình thủ công.
Tạo LLMs.txt với Cline và Firecrawl MCP
Yêu cầu Cline tạo LLMs.txt: Tương tác với Cline trong VS Code và yêu cầu nó tạo các tệp LLMs.txt bằng cách sử dụng Firecrawl MCP. Bạn có thể cung cấp một URL và chỉ định các tham số như maxUrls và có muốn tạo llms-full.txt hay không.
# Đầu vào mẫu
>> tạo một LLMs.txt từ firecraw.dev --phiên bản ngắnTheo dõi Tình Trạng Tạo: Cline sẽ thực hiện lệnh để tạo các tệp LLMs.txt bằng Máy chủ Firecrawl MCP. Bạn có thể theo dõi tình trạng của quy trình tạo thông qua đầu ra của Cline hoặc kiểm tra nhật ký của Máy chủ Firecrawl MCP.
Truy cập Các Tệp Đã Tạo: Khi việc tạo hoàn tất, Cline sẽ cung cấp cho bạn các tệp llms.txt và tùy chọn llms-full.txt đã được tạo. Những tệp này đã sẵn sàng để sử dụng trong việc huấn luyện hoặc phân tích LLM.
Tính Năng và Lợi Ích
Thu Thập Dữ Liệu Web Hiệu Quả: Máy chủ Firecrawl MCP cung cấp khả năng thu thập dữ liệu web mạnh mẽ với hỗ trợ kết xuất JavaScript, đảm bảo bạn có thể trích xuất dữ liệu từ các trang web động một cách hiệu quả.
Có Thể Tùy Chỉnh: Bạn có thể cấu hình máy chủ để xử lý các tác vụ hàng loạt với việc giới hạn tốc độ, đảm bảo rằng các tác vụ thu thập dữ liệu web của bạn vừa hiệu quả vừa tuân thủ chính sách của trang web.
Tích Hợp AI: Bằng cách tích hợp với Cline, bạn có thể tự động hóa quy trình tạo các tệp LLMs.txt, giúp dễ dàng hơn trong việc chuẩn bị dữ liệu cho các mô hình AI.
Các Tình Huống Sử Dụng Tệp LLMs.txt
Phân Tích Dữ Liệu: Sử dụng các tệp LLMs.txt đã tạo để phân tích nội dung trang web, trích xuất thông tin quan trọng và huấn luyện các LLM cho các nhiệm vụ cụ thể.
Tự Động Hóa Nghiên Cứu: Tự động hóa việc thu thập dữ liệu cho mục đích nghiên cứu bằng cách thu thập nội dung từ nhiều trang web và tạo các tệp văn bản sẵn sàng cho LLM.
Tóm Tắt Nội Dung: Tận dụng các tóm tắt ngắn gọn trong llms.txt để nhanh chóng hiểu nội dung của các trang web mà không cần phải xem xét từng trang.
Các Thực Hành Tốt Nhất Khi Làm Việc Với Firecrawl MCP
Để đảm bảo rằng Firecrawl MCP sẽ hoạt động hiệu quả và cung cấp cho bạn thông tin đáng tin cậy khi sử dụng với Cline, hãy làm theo các thực hành tốt nhất sau:
Luôn Xác Thực URL Trước Khi Xử Lý:
Trước khi gửi URL đến Firecrawl MCP để thu thập, hãy xác thực rằng chúng có thể truy cập được và ở định dạng chính xác. Điều này ngăn ngừa lỗi và lãng phí các lần gọi API.
Sử Dụng Giới Hạn Tốc Độ Để Tránh Tải Nặng Máy Chủ:
Triển khai việc giới hạn tốc độ trong cấu hình Cline của bạn hoặc trực tiếp trong cài đặt Firecrawl MCP. Điều này đảm bảo rằng bạn không quá tải các trang web mục tiêu hoặc vượt quá giới hạn API, dẫn đến việc bị chặn hoặc gián đoạn dịch vụ.
Firecrawl MCP hỗ trợ việc giới hạn tốc độ tùy chỉnh để xử lý hàng loạt một cách hiệu quả.
Thường Xuyên Sao Lưu Các Tệp Đã Tạo:
Tạo một chiến lược sao lưu cho các tệp LLMs.txt đã tạo của bạn. Điều này bảo vệ dữ liệu của bạn khỏi việc mất mát hoặc hư hỏng không mong muốn. Lưu trữ sao lưu ở một vị trí an toàn và có thể truy cập được.
Theo Dõi Sử Dụng API và Giới Hạn:
Thường xuyên theo dõi việc sử dụng API Firecrawl của bạn để giữ trong giới hạn miễn phí hoặc giới hạn trả phí. Thiết lập cảnh báo để thông báo cho bạn khi bạn sắp đạt giới hạn để tránh phí bất ngờ hoặc gián đoạn dịch vụ.
Kết Luận
Kết hợp Cline với Firecrawl MCP mang đến một quy trình làm việc gọn gàng để tạo các tệp LLMs.txt. Sự tích hợp này cho phép bạn tự động hóa các nhiệm vụ thu thập dữ liệu web, chuẩn bị dữ liệu cho các mô hình AI, và nâng cao năng suất của bạn trong việc phân tích dữ liệu và nghiên cứu. Dù bạn đang làm việc trên tóm tắt nội dung, trích xuất dữ liệu, hay huấn luyện mô hình AI, thiết lập này cung cấp các công cụ cần thiết để bạn thành công.
Và khi bạn đang làm điều đó, đừng quên kiểm tra Apidog—nền tảng tối ưu cho phát triển API đang tạo sóng như một lựa chọn tốt hơn cho Postman.