Uji CUA: Server MCP untuk Agen Penggunaan Komputer, Berikut Pendapat Saya

CUA, kerangka kerja Computer-Use Agent, dan server MCP-nya yang canggih, Cua, memungkinkan agen AI mengontrol sistem macOS atau Linux Anda dengan bahasa alami. Saya mulai mengatur server MCP CUA di Mac Apple Silicon saya, dan biarkan saya memberi tahu Anda—ini adalah pengubah permainan untuk mengotomatiskan tugas secara lokal. Dalam panduan pemula ini, saya akan berbagi pengalaman saya dalam menginstal dan menguji server MCP CUA, dengan contoh yang menyenangkan: membuatnya membuka terminal dan mencantumkan isi direktori. Tidak diperlukan keterampilan teknis—hanya sedikit rasa ingin tahu! Siap untuk mengubah AI Anda menjadi seorang pembisik komputer? Mari kita mulai!

💡

Ingin alat Pengujian API yang hebat yang menghasilkan Dokumentasi API yang indah?

Ingin platform terintegrasi, All-in-One untuk Tim Pengembang Anda bekerja sama dengan produktivitas maksimum?

Apidog memenuhi semua permintaan Anda, dan menggantikan Postman dengan harga yang jauh lebih terjangkau!

button

Apa itu Cua dan Server MCP CUA?

CUA (Computer-Use Agent) adalah kerangka kerja sumber terbuka yang memungkinkan agen AI berinteraksi dengan komputer Anda—bayangkan kontrol layar, otomatisasi keyboard/mouse, dan mesin virtual terisolasi (VM) di macOS dan Linux, terutama Apple Silicon. Server MCP Cua adalah komponen Model Context Protocol (MCP) yang bertindak sebagai jembatan untuk memungkinkan klien AI seperti Claude Desktop atau Cursor menjalankan tugas CUA melalui bahasa alami. Ini seperti memberikan AI Anda remote control untuk sistem Anda, mengeksekusi perintah dengan aman tanpa ketergantungan cloud. Kita akan mengaturnya dan mengujinya dengan tugas sederhana, semua sambil menjaga segalanya tetap privat dan menyenangkan. Mari kita selami

Mengatur Lingkungan Anda: Bersiap untuk CUA

Sebelum kita meluncurkan server MCP CUA, mari kita siapkan sistem Anda. Ini ramah pemula, dengan setiap langkah dijelaskan untuk menjaga Anda tetap terinformasi.

1. Periksa Prasyarat: Pastikan Anda memiliki alat-alat ini siap:

Python: Versi 3.10 atau lebih tinggi. Jalankan python --version di terminal Anda. Jika tidak ada atau kedaluwarsa, unduh dari python.org. Python mendukung skrip dan server CUA.
Git: Diperlukan untuk mengkloning repositori Cua. Periksa dengan git --version. Instal dari git-scm.com jika diperlukan.
Docker: Diperlukan untuk pengaturan server MCP yang tercontainer. Unduh dari docker.com dan verifikasi dengan docker --version.
Perangkat Keras: Sebuah Mac dengan Apple Silicon (M1/M2/M3) atau sistem Linux, CPU 4+ inti, RAM 16GB+ dan penyimpanan gratis 10GB+ untuk ketergantungan. Ada yang kurang? Instal sekarang untuk menghindari gangguan.

2. Buat Folder Proyek: Mari kita jaga agar tetap rapi dengan folder khusus:

mkdir cua-mcp-test
cd cua-mcp-test

Folder ini akan menampung proyek CUA Anda, dan cd mengatur Anda untuk langkah selanjutnya.

3. Kloning Repositori Cua: Ambil kode sumber CUA dari GitHub:

git clone https://github.com/trycua/cua.git
cd cua

Perintah git clone mengambil repositori Cua, termasuk kode server MCP di libs/mcp-server. Perintah cd cua memindahkan Anda ke direktori proyek.

4. Atur Lingkungan Virtual: Untuk mencegah konflik paket, buat lingkungan virtual Python:

python -m venv venv

Aktifkan:

Mac/Linux: source venv/bin/activate
Windows: venv\Scripts\activate Melihat (venv) di terminal Anda berarti Anda berada di lingkungan Python yang bersih, mengisolasi ketergantungan CUA.

5. Buka di VS Code: Luncurkan proyek di Visual Studio Code untuk pemrograman yang mudah:

code .

VS Code membuka folder cua, siap untuk scripting. Jika Anda tidak memiliki VS Code, ambil dari code.visualstudio.com atau gunakan editor lain, tetapi integrasi Python di VS Code sangat baik.

Menginstal Server MCP CUA

Mari kita instal server MCP CUA untuk bekerja dengan Claude 3.7. Kita akan menggunakan skrip sederhana untuk pengaturan yang mudah, memastikan semua ketergantungan sudah ada.

1. Jalankan Skrip Pengaturan Mudah: Repositori CUA menyediakan satu baris perintah untuk mempercepat instalasi:

curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/mcp-server/scripts/install_mcp_server.sh | bash

Skrip ini melakukan banyak pekerjaan berat:

Membuat direktori ~/.cua jika belum ada.
Menghasilkan skrip startup di ~/.cua/start_mcp_server.sh.
Menjadikan skrip dapat dieksekusi.
Mengelola lingkungan virtual Python dan menginstal/memperbarui paket cua-mcp-server. Ini dirancang untuk macOS dan Linux, menggunakan Docker untuk server tercontainer. Harapkan ini memakan waktu satu menit saat menarik ketergantungan.

2. Instal Ketergantungan Python: Jika Anda lebih suka instalasi manual atau mengalami masalah, instal server MCP CUA langsung:

pip install cua-mcp-server

Ini menginstal:

Server MCP itu sendiri.
Agen CUA dan ketergantungan komputer (misalnya, untuk kontrol layar, otomatisasi keyboard/mouse).
Skrip cua-mcp-server yang dapat dieksekusi dalam PATH Anda.

3. Verifikasi Docker: Server MCP berjalan dalam container Docker, jadi pastikan Docker aktif:

docker ps

Jika Docker tidak berjalan, mulai melalui Docker Desktop (Mac) atau sudo systemctl start docker (Linux). Ini penting untuk lingkungan terisolasi server.

Mengonfigurasi Server MCP CUA untuk Claude Desktop

Sekarang, mari kita konfigurasikan server MCP CUA untuk bekerja dengan Claude 3.7 di Claude Desktop, mengatur kunci API dan variabel lingkungan yang diperlukan.

1. Dapatkan Kunci API Anthropic: Daftar di anthropic.com, navigasikan ke bagian API, dan hasilkan kunci API. Simpan dengan aman (jangan bagikan!). Kunci ini memungkinkan Claude 3.7 berkomunikasi dengan server MCP CUA.

2. Perbarui Konfigurasi Claude Desktop: Tambahkan server MCP CUA ke file konfigurasi Claude Desktop, biasanya di ~/.config/claude-desktop/claude_desktop_config.json (Mac). Buat jika belum ada:

{
  "mcpServers": {
    "cua-agent": {
      "command": "/bin/bash",
      "args": ["~/.cua/start_mcp_server.sh"],
      "env": {
        "CUA_AGENT_LOOP": "OMNI",
        "CUA_MODEL_PROVIDER": "ANTHROPIC",
        "CUA_MODEL_NAME": "claude-3-7-sonnet-20250219",
        "ANTHROPIC_API_KEY": "your-api-key"
      }
    }
  }
}

Ganti your-api-key dengan kunci API Anthropic Anda. Konfigurasi ini:

Menggunakan skrip startup dari langkah instalasi.
Menetapkan loop agen ke OMNI untuk penanganan tugas yang fleksibel.
Menentukan Claude 3.7 (claude-3-7-sonnet-20250219) sebagai model.
Memberikan kunci API dengan aman. Simpan file di lokasi yang benar. Untuk detail lebih lanjut, periksa Panduan Pengguna MCP Anthropic.

3. Opsional: Integrasi Cursor: Ingin menggunakan CUA dengan Cursor? Buat file konfigurasi MCP:

Spesifik proyek: Tambahkan .cursor/mcp.json di direktori proyek Anda.
Global: Tambahkan ~/.cursor/mcp.json di direktori home Anda. Gunakan konfigurasi mcpServers yang sama seperti di atas. Kemudian, dalam chat Agen Cursor, katakan, “Gunakan alat kontrol komputer untuk membuka Safari,” dan CUA akan mengambil alih. Lihat dokumentasi MCP Cursor untuk lebih lanjut.

Menguji Server MCP CUA Anda dengan Claude 3.7

Saatnya menguji server MCP CUA dengan meminta Claude 3.7 membuka terminal dan mencantumkan isi direktori! Kita akan membuat skrip untuk mensimulasikan tugas dan menjalankannya di VS Code.

1. Buat Skrip Uji: Di VS Code, dengan proyek cua Anda terbuka, buat file bernama test.py di folder cua. Tempelkan kode ini:

import os
import asyncio
from computer import Computer
from agent import ComputerAgent, LLM, AgentLoop, LLMProvider

async def run_task() -> str:
    async with Computer(verbosity='DEBUG') as computer:
        agent = ComputerAgent(
            computer=computer,
            loop=AgentLoop.OMNI,
            model=LLM(
                provider=LLMProvider.ANTHROPIC,
                model_name="claude-3-7-sonnet-20250219",
                api_key="your-api-key"
            )
        )
        task = "Buka terminal dan daftar isi direktori saat ini"
        async for result in agent.run(task):
            return result

async def main():
    result = await run_task()
    print("\n\nHasil:", result)

if __name__ == "__main__":
    asyncio.run(main())

Ganti your-api-key dengan kunci API Anthropic Anda (alternatifnya, atur ANTHROPIC_API_KEY sebagai variabel lingkungan dalam profil shell Anda). Skrip ini:

Memulai CUA Computer untuk interaksi sistem.
Menyiapkan ComputerAgent dengan Claude 3.7 melalui API Anthropic.
Meminta agen untuk membuka terminal (misalnya, Terminal.app di macOS) dan menjalankan ls.
Mencetak hasil, seperti daftar file.

2. Pilih Interpreter Python di VS Code: Pastikan VS Code menggunakan lingkungan Python proyek Anda:

Tekan Ctrl + P (atau Cmd + P di Mac).
Ketik > Pilih Interpreter Python dan tekan Enter.
Pilih interpreter dari lingkungan virtual Anda (misalnya, ./venv/bin/python). Ini memastikan ketergantungan CUA tersedia, mencegah kesalahan “modul tidak ditemukan”.

3. Jalankan Skrip: Pastikan Docker berjalan dan konfigurasi Claude Desktop sudah diatur. Dengan test.py terbuka, klik tombol “Jalankan” di VS Code (segitiga di kanan atas) atau, di terminal (dengan lingkungan virtual aktif):

python test.py

Server MCP CUA akan dimulai, Claude 3.7 akan memproses tugas, dan terminal akan terbuka, menjalankan ls. Saya mendapatkan “Hasil: cua test.py venv” di Mac saya—cukup keren! Jika gagal, verifikasi Docker, kunci API, dan port 11434 (jika menggunakan fallback Ollama). Periksa ~/Library/Logs/Claude/mcp*.log (Mac) untuk informasi debug.

4. Uji di Claude Desktop: Buka Claude Desktop, ketik: “Buka terminal dan daftar isi direktori saat ini.” Claude akan menggunakan server MCP CUA untuk mengeksekusi tugas, menunjukkan hasil di chat. Uji saya mencantumkan file proyek saya dengan cepat!

Alat CUA yang Tersedia dan Penggunaannya

Server MCP CUA mengekspos dua alat kuat kepada Claude 3.7:

run_cua_task: Menjalankan satu tugas, seperti “Buka Chrome dan pergi ke github.com.”
run_multi_cua_tasks: Menjalankan beberapa tugas secara berurutan, misalnya, “Buat folder bernama ‘Projects’ di desktop saya, lalu buka.”

Anda dapat menggunakan ini di Claude Desktop atau Cursor dengan meminta:

“Buat folder bernama ‘Projects’ di desktop saya.”
“Temukan semua PDF di folder Unduhan saya.”
“Ambil tangkapan layar dan soroti pesan kesalahan.”

Claude secara otomatis mengarahkan ini ke agen CUA, membuat otomatisasi menjadi mudah.

Pandangan Saya tentang CUA dengan Claude 3.7

Setelah menguji CUA dengan Claude 3.7, inilah pendapat saya:

Pusat Kekuatan Lokal: Menjalankan semuanya di Mac saya menjaga data tetap pribadi—tidak perlu cloud.
Claude 3.7 Bersinar: Kemampuannya membuat tugas seperti perintah terminal terasa mudah.
Masalah Pengaturan: Konfigurasi Docker dan kunci API memerlukan sedikit penyesuaian, tetapi skrip instalasi menghemat waktu.
Potensi Tak Terbatas: Dari membuka aplikasi hingga mengelola file, CUA terasa seperti kekuatan super.

Jika Anda mengalami masalah, periksa kembali Docker dan kunci API Anda, dan lihat masalah CUA di GitHub untuk perbaikan.

Tips Pro untuk Sukses CUA

Log Debug: Periksa log Claude (~/Library/Logs/Claude/mcp*.log) atau log Docker (docker logs) untuk kesalahan.
Cobalah Tugas Baru: Minta Claude untuk “Buka browser dan pergi ke github.com” atau “Buat file bernama hello.txt” di test.py atau aplikasi Desktop.
Optimalkan Konfigurasi: Atur CUA_MAX_IMAGES=5 dalam konfigurasi untuk menjaga lebih banyak tangkapan layar dalam konteks untuk tugas seperti “Soroti kesalahan.”

Pikiran Akhir: Petualangan CUA dan Claude 3.7 Anda Dimulai

Anda telah berhasil—Anda telah mengatur server MCP CUA dan melepaskan Claude 3.7 untuk mengontrol komputer Anda! Dari membuka terminal hingga mencantumkan file, Anda telah melihat bagaimana CUA membuat otomatisasi terasa seperti sihir. Cobalah tugas seperti meluncurkan aplikasi atau mengatur file selanjutnya, dan bagikan kemenangan Anda. Apa langkah Anda selanjutnya? Asisten pengkodean CUA? Bot tangkapan layar? Dan untuk lebih banyak informasi, periksa CUA GitHub, dan selamat mengotomatisasi!

button