Đây là một loạt bài gồm 10 phần chia sẻ cách Apidog phát triển Apidog CLI, một công cụ dòng lệnh để kiểm thử API và quản lý vòng đời API. Hãy đọc theo thứ tự hoặc chuyển đến bất kỳ bài đăng nào bạn quan tâm:
| Tiêu đề | Trọng tâm | |
|---|---|---|
| 1 | Chúng tôi đã xây dựng 126 Công cụ MCP. Nhưng đó không phải là Giải pháp tốt nhất cho Agent | Khám phá vấn đề |
| 2 | Tại sao chúng tôi phát triển Apidog CLI hoàn toàn mới | Phát triển kiến trúc |
| 3 | Quy tắc vàng: CLI tạo ra dữ kiện, Mô hình hoạt động dựa trên dữ kiện | Triết lý cốt lõi |
| 4 | agentHints: Dạy CLI giao tiếp với Agent |
Đầu ra có cấu trúc |
| 5 | SKILL: Chuyển giao kinh nghiệm vận hành dưới dạng mã | Kinh nghiệm vận hành |
| 6 | Các con số không biết nói dối: Giảm 30% số lần gọi công cụ, giảm 25% số Token | Kết quả định lượng |
| 7 | Từ PRD đến vòng lặp kiểm thử: Quy trình làm việc hoàn chỉnh của Agent với Apidog CLI | Hướng dẫn thực hành |
| 8 | Tại sao khả năng tương thích CI/CD là không thể thiếu đối với các công cụ Agent | Góc nhìn DevOps |
| 9 | Nhánh AI: Thay đổi dự án an toàn hơn với AI Agent | Lớp bảo mật |
| 10 | Ưu tiên đặc tả đã là quá khứ. Chào mừng đến với Ưu tiên kỹ năng. | Tầm nhìn & tương lai |
Chúng tôi đã so sánh MCP với CLI + SKILL trên các tác vụ người dùng thông thường. Kết quả: ít lệnh gọi công cụ hơn, ít lãng phí token hơn, khôi phục lỗi tốt hơn—và dữ liệu giải thích lý do.
Câu hỏi quan trọng
Tất cả các triết lý và nguyên tắc thiết kế mà chúng tôi đã chia sẻ—liệu chúng có thực sự hiệu quả không?
Chúng tôi đã so sánh nội bộ nhiều tác vụ người dùng thông thường trên cả hai phương pháp:
| Loại tác vụ | Mô tả |
|---|---|
| Thêm trường hợp kiểm thử + xác minh | Tạo trường hợp kiểm thử cho điểm cuối, chạy kiểm thử |
| Duy trì các kịch bản kiểm thử | Cập nhật các kịch bản đa bước phức tạp |
| Nhập/xác minh tài sản dự án | Nhập dữ liệu, xác nhận cấu trúc, chạy kiểm thử |
Kết quả không chỉ là những cải tiến chủ quan. Chúng là những giảm thiểu có thể đo lường được.
Tác vụ 1: Thêm trường hợp kiểm thử dựa trên điểm cuối
Yêu cầu của người dùng:
"Thêm một kiểm thử cho điểm cuối này và chạy xác minh"
Lộ trình MCP
| Giai đoạn | Điều gì xảy ra |
|---|---|
| Khám phá công cụ | Agent tìm kiếm trong danh sách công cụ |
| Lựa chọn công cụ | Nhiều vòng lựa chọn công cụ chính xác |
| Khám phá trường | Agent đọc lược đồ công cụ |
| Phỏng đoán trường | Agent phỏng đoán các trường bắt buộc |
| Thử ghi | Agent gọi công cụ tạo |
| Phản hồi lỗi | Máy chủ từ chối (trường sai/thiếu bắt buộc) |
| Thử lại | Agent điều chỉnh, thử lại |
| Thử lại nhiều lần | Lặp lại cho đến khi thành công |
| Chạy kiểm thử | Agent tìm công cụ chạy, thực thi |
Mô hình điển hình:
Tìm kiếm công cụ → Chọn công cụ → Đọc lược đồ → Phỏng đoán trường → Ghi → Lỗi → Thử lại → Ghi → Lỗi → Thử lại → Thành công → Tìm công cụ chạy → ChạyLộ trình CLI + SKILL
| Giai đoạn | Điều gì xảy ra |
|---|---|
| Hướng dẫn SKILL | SKILL xác định loại tác vụ, cung cấp quy trình làm việc |
| Đọc điểm cuối | CLI đọc các dữ kiện điểm cuối |
| Tạo trường hợp kiểm thử | Agent tạo dựa trên dữ liệu điểm cuối thực tế |
| Xác thực cục bộ | cli-schema xác thực trước khi ghi |
| Ghi | CLI tạo trường hợp kiểm thử |
| Đọc lại | CLI trả về cấu trúc đã tạo + agentHints |
| Chạy kiểm thử | agentHints gợi ý chạy, Agent làm theo |
Mô hình điển hình:
SKILL hướng dẫn → Đọc điểm cuối → Tạo → Xác thực → Ghi → Đọc lại → ChạyKết quả
| Chỉ số | Lộ trình MCP | CLI + SKILL | Cải thiện |
|---|---|---|---|
| Số bước gọi công cụ | ~15-20 | ~10-12 | ↓ ~30% |
| Token từ mô tả | ~50.000 đã tải | ~2.000 đã tải | ↓ ~96% |
| Token từ các lần thử lại | ~5.000+ lãng phí | ~500 lãng phí | ↓ ~90% |
| Tổng số token lãng phí | ~55.000 | ~2.500 | ↓ ~25% |
Số bước gọi công cụ giảm khoảng 30%. Lượng token tiêu thụ từ các mô tả công cụ không hợp lệ và các lần thử lại lỗi giảm khoảng 25%.
Tác vụ 2: Ghi có cấu trúc (Bộ xử lý, Khẳng định, Trích xuất)
Yêu cầu của người dùng:
"Thêm các khẳng định sau thao tác và trích xuất biến vào trường hợp kiểm thử này"
Lộ trình MCP
| Giai đoạn | Điều gì xảy ra |
|---|---|
| Phỏng đoán tên trường | Agent không biết tên chính xác |
| Phỏng đoán giá trị enum | Agent phỏng đoán bộ so sánh, loại |
| Thử ghi | Máy chủ từ chối các giá trị sai |
| Thử lại mạng | Đi và về cho mỗi lỗi |
| Nhiều lần thử | 3-5 lần thử lại là phổ biến |
Lỗi thường gặp:
| Phỏng đoán sai | Giá trị đúng | Số lần thử lại |
|---|---|---|
comparator: "contains" |
comparator: "include" |
1-2 |
type: "global" |
type: "globals" |
1-2 |
subject: "responseBody" |
subject: "responseJson" |
1-2 |
Mỗi lỗi = 1 lượt đi và về mạng + phản hồi + xử lý của Agent.
Lộ trình CLI + SKILL
| Giai đoạn | Điều gì xảy ra |
|---|---|
| Đọc trường hợp kiểm thử | CLI lấy cấu trúc thực tế |
| Tạo bổ sung | Agent tạo dựa trên định dạng thực |
| Xác thực cục bộ | cli-schema bắt lỗi trước khi gọi mạng |
| Sửa lỗi cục bộ | Agent điều chỉnh dựa trên đầu ra xác thực |
| Xác thực lại | Xác nhận sửa lỗi |
| Ghi | Chỉ các ghi hợp lệ mới đến máy chủ |
Tất cả lỗi được bắt cục bộ. Không có thử lại mạng cho các lỗi trường.
Kết quả
| Chỉ số | Lộ trình MCP | CLI + SKILL | Cải thiện |
|---|---|---|---|
| Thử lại mạng do lỗi cấu trúc | 3-5 | 0 | ↓ ~100% |
| Token từ phản hồi lỗi | ~2.000 | ~0 | ↓ ~100% |
| Tổng số lần gọi lặp lại | ~5 | ~1 | ↓ ~40% |
Số lần gọi lặp lại do lỗi cấu trúc giảm khoảng 40%.
Tác vụ 3: Hoạt động liên tục sau khi tạo
Yêu cầu của người dùng:
"Tạo một kịch bản kiểm thử với các điểm cuối này"
Lộ trình MCP
| Giai đoạn | Điều gì xảy ra |
|---|---|
| Tạo kịch bản | Agent gọi công cụ tạo |
| Phản hồi thành công | Agent thấy "đã tạo" |
| Tiếp tục ghi | Agent ngay lập tức cập nhật/thêm nhiều hơn |
| Bỏ qua đọc lại | Agent không đọc cấu trúc thực tế |
| Ghi dựa trên giả định | Agent ghi với ID/cấu trúc được phỏng đoán |
| Lỗi hoặc không hoàn chỉnh | Kết quả không khớp với mong đợi |
Vấn đề: Quán tính thực thi.
Mô hình có xu hướng tiếp tục trực tiếp sau thành công, bỏ qua bước đọc lại.
Lộ trình CLI + SKILL
| Giai đoạn | Điều gì xảy ra |
|---|---|
| Tạo kịch bản | CLI tạo kịch bản |
| Thành công + agentHints | CLI trả về thành công + gợi ý bước tiếp theo |
agentHints: "Đọc lại trước" |
Agent thấy gợi ý |
| Làm theo gợi ý | Agent đọc lại |
| Làm việc với cấu trúc thực | Agent tiến hành với dữ liệu chính xác |
agentHints gợi ý rõ ràng việc đọc lại. Agent làm theo.
Kết quả
| Chỉ số | Lộ trình MCP | CLI + SKILL | Cải thiện |
|---|---|---|---|
| Tỷ lệ đọc lại trước khi tiếp tục | ~20% | ~85% | ↑ ~425% |
| Thử lại lỗi do nhảy trực tiếp | ~3-5 | ~0-1 | ↓ ~21% |
Tỷ lệ Agent chủ động đọc lại, xác thực và chạy xác minh tăng đáng kể. Số lần thử lại lỗi do trực tiếp chuyển sang bước tiếp theo giảm khoảng 21%.
Tóm tắt: Tiết kiệm đến từ đâu
| Nguồn tiết kiệm | Giải thích |
|---|---|
| Khám phá công cụ | Các lệnh CLI có tên rõ ràng; SKILL hướng dẫn lựa chọn |
| Xác thực lược đồ | Xác thực cục bộ bắt lỗi trước khi gọi mạng |
| Phục hồi lỗi | agentHints cung cấp các gợi ý có thể hành động, không chỉ là "thất bại" |
| Hướng dẫn đọc lại | Ngăn chặn việc ghi dựa trên giả định |
| Trình tự quy trình làm việc | SKILL giảm thiểu các điểm quyết định |
Phân tích chi phí thực tế
Insight chính:
Việc kích hoạt Agent cho sản phẩm không phải là có càng nhiều công cụ càng tốt.
Những gì mô hình thực sự tiêu thụ:
| Loại chi phí | Gánh nặng MCP | Gánh nặng CLI + SKILL |
|---|---|---|
| Ngữ cảnh | Mô tả công cụ, lược đồ | Chỉ SKILL tập trung vào tác vụ |
| Sự chú ý | Chọn trong số nhiều công cụ | Tuân theo quy trình làm việc được hướng dẫn |
| Chọn đường dẫn | Phỏng đoán trình tự | Trình tự do SKILL xác định |
| Chi phí token người dùng | Thử lại, cuộc gọi thất bại | Ghi đã xác thực, ít cuộc gọi hơn |
Khi số lượng công cụ tăng lên, điều mô hình thực sự tiêu thụ không phải là khả năng gọi API, mà là sự đánh đổi giữa ngữ cảnh, sự chú ý, lựa chọn đường dẫn và chi phí token người dùng.
Nguyên tắc kỹ thuật
Mục tiêu:
Di chuyển các chi phí này ra khỏi ngữ cảnh của mô hình và trở lại các vị trí mà hệ thống kỹ thuật có thể chịu đựng được.
| Chi phí | Vị trí MCP | Vị trí CLI + SKILL |
|---|---|---|
| Khám phá công cụ | Mô hình phải tìm kiếm | SKILL cung cấp |
| Xác thực trường | Mô hình phải biết | cli-schema xác thực |
| Hướng dẫn bước tiếp theo | Mô hình phải quyết định | agentHints gợi ý |
| Ngữ nghĩa sản phẩm | Mô hình phải hiểu | CLI xử lý |
Hệ thống kỹ thuật hấp thụ sự phức tạp. Mô hình tập trung vào việc tạo và phán đoán.
Ý nghĩa của những con số này
Các con số giải thích một vấn đề cụ thể hơn:
| Thông tin chi tiết | Hàm ý |
|---|---|
| Giảm 30% số lần gọi công cụ | Độ phức tạp chuyển từ khám phá sang hướng dẫn |
| Giảm 25% token lãng phí | Lỗi được bắt trước khi mạng |
| Giảm 40% lần thử lại cấu trúc | Cổng xác thực hoạt động |
| Giảm 21% lỗi nhảy | agentHints ngăn chặn việc tiếp tục mù quáng |
CLI + SKILL không chỉ là sự tinh tế về kiến trúc. Đó là hiệu quả có thể đo lường được.
Tiếp theo là gì
Bây giờ chúng ta đã xác thực phương pháp bằng các con số, hãy cùng xem nó hoạt động như thế nào.
Trong Phần 7, Từ PRD đến vòng lặp kiểm thử: Quy trình làm việc hoàn chỉnh của Agent, chúng ta sẽ xem xét một ví dụ thực tế—một nhóm có PRD "Hoàn tiền đơn hàng", và Agent sử dụng CLI + SKILL để tạo OpenAPI, tạo kiểm thử, xác thực và xác minh.
Những điểm chính
- Số bước gọi công cụ giảm khoảng 30%
- Lãng phí token từ mô tả và thử lại giảm khoảng 25%
- Số lần thử lại lỗi cấu trúc giảm khoảng 40%
- Lỗi nhảy do bỏ qua đọc lại giảm khoảng 21%
- Tiết kiệm đến từ: khám phá có hướng dẫn, xác thực cục bộ, gợi ý có thể hành động
- Độ phức tạp chuyển từ ngữ cảnh sang hệ thống kỹ thuật
Tải xuống Apidog để thiết kế, mock, kiểm thử, và tài liệu hóa API trong một không gian làm việc. Tìm hiểu thêm về Apidog CLI để kiểm thử API dòng lệnh, tự động hóa CI và quy trình làm việc của AI Agent.
button