Cara Membangun Alternatif Sumber Terbuka untuk Claude Research

Claude dari Anthropic baru-baru ini menarik perhatian dengan kemampuan baru yang memungkinkannya mengakses dan mensintesis informasi web secara real-time, secara efektif bertindak sebagai asisten penelitian. Fitur ini, yang sering dibahas sebagai "Claude Research," bertujuan untuk melampaui pencarian web sederhana dengan mengeksplorasi berbagai sudut topik, mengumpulkan informasi dari berbagai sumber, dan memberikan jawaban yang disintesis. Meskipun kuat, mengandalkan sistem sumber tertutup dan proprietary tidak selalu ideal. Banyak pengguna mencari lebih banyak kontrol, transparansi, kustomisasi, atau sekadar ingin bereksperimen dengan teknologi yang mendasarinya.

Kabar baiknya adalah bahwa komunitas sumber terbuka sering menyediakan blok bangunan untuk mereplikasi fungsi-fungsi tersebut. Salah satu proyek menarik di ruang ini adalah btahir/open-deep-research di GitHub. Alat ini bertujuan untuk mengotomatiskan proses penelitian mendalam tentang suatu topik dengan memanfaatkan pencarian web dan Model Bahasa Besar (LLM).

Mari kita pahami terlebih dahulu kemampuan kunci yang ditawarkan oleh fitur penelitian AI canggih seperti milik Claude, yang open-deep-research berusaha untuk tiru dengan cara sumber terbuka, dan kemudian kita akan menyelami bagaimana Anda dapat menjalankan alat ini sendiri.

Mengenalkan open-deep-research: Titik Awal Sumber Terbuka Anda

Proyek open-deep-research (https://github.com/btahir/open-deep-research) menyediakan kerangka untuk mencapai tujuan serupa menggunakan alat dan API yang tersedia. Ini kemungkinan mengorkestrasi sebuah alur kerja yang melibatkan:

• Kueri Mesin Pencari: Menggunakan API (seperti SearchApi, Google Search API, dll.) untuk menemukan halaman web terkait untuk topik penelitian tertentu.
• Pemrograman Web: Mengambil konten dari URL yang diidentifikasi.
• Proses LLM: Menggunakan Model Bahasa Besar (umumnya melalui API OpenAI, tetapi mungkin dapat disesuaikan) untuk membaca, memahami, mensintesis, dan menyusun informasi yang dikumpulkan dari halaman web.
• Generasi Laporan: Mengompilasi informasi yang diproses menjadi output akhir, seperti laporan rinci.

Dengan menjalankan ini sendiri, Anda mendapatkan transparansi dalam proses dan kemampuan untuk menyesuaikannya.

Panduan Langkah-Demi-Langkah untuk Menjalankan open-deep-research

Siap untuk mencoba membangun asisten penelitian Anda sendiri? Berikut adalah panduan rinci untuk menjalankan open-deep-research.

Syarat:

• Python: Anda perlu menginstal Python di sistem Anda (biasanya Python 3.7+).
• Git: Diperlukan untuk mengkloning repositori.
• Kunci API: Ini sangat penting. Alat ini akan membutuhkan kunci API untuk:
• API Mesin Pencari: Untuk melakukan pencarian web secara programatik. Contohnya termasuk SearchApi, Serper, atau mungkin lainnya tergantung pada konfigurasi proyek. Anda perlu mendaftar untuk salah satu layanan ini dan mendapatkan kunci API.
• API LLM: Kemungkinan besar, kunci API OpenAI untuk mengakses model GPT (seperti GPT-3.5 atau GPT-4) akan diperlukan untuk langkah sintesis. Anda perlu memiliki akun OpenAI dengan akses API.
• (Periksa open-deep-research README untuk API dan kunci yang diperlukan secara spesifik).
• Command Line / Terminal: Anda akan menjalankan perintah di terminal atau command prompt Anda.

Langkah 1: Kloning Repositori

Pertama, buka terminal Anda dan navigasikan ke direktori tempat Anda ingin menyimpan proyek. Kemudian, kloning repositori GitHub:

git clone <https://github.com/btahir/open-deep-research.git>

Sekarang, beralihlah ke direktori proyek yang baru dibuat:

cd open-deep-research

Langkah 2: Siapkan Lingkungan Virtual (Direkomendasikan)

Adalah praktik terbaik untuk menggunakan lingkungan virtual untuk mengelola dependensi proyek secara terpisah.

Di macOS/Linux:

python3 -m venv venv
source venv/bin/activate

Di Windows:

python -m venv venv
.\\venv\\Scripts\\activate

Prompt terminal Anda sekarang harus menunjukkan bahwa Anda berada di lingkungan (venv).

Langkah 3: Instal Dependensi

Proyek harus menyertakan file requirements.txt yang mencantumkan semua pustaka Python yang diperlukan. Instal mereka menggunakan pip:

pip install -r requirements.txt

Perintah ini akan mengunduh dan menginstal pustaka seperti openai, requests, mungkin beautifulsoup4 atau serupa untuk pengambilan data, dan pustaka untuk API pencarian spesifik yang digunakan.

Langkah 4: Konfigurasi Kunci API

Ini adalah langkah konfigurasi yang paling kritis. Anda perlu memberikan kunci API yang Anda peroleh di syarat. Proyek sumber terbuka biasanya menangani kunci melalui variabel lingkungan atau file .env. Konsultasikan file README open-deep-research dengan cermat untuk nama variabel lingkungan yang tepat yang diperlukan.

Umumnya, Anda mungkin perlu mengatur variabel seperti:

• OPENAI_API_KEY
• SEARCHAPI_API_KEY (atau SERPER_API_KEY, GOOGLE_API_KEY dll., tergantung pada layanan pencarian yang digunakan)

Anda dapat mengatur variabel lingkungan langsung di terminal Anda (ini bersifat sementara untuk sesi saat ini):

Di macOS/Linux:

export OPENAI_API_KEY='your_openai_api_key_here'
export SEARCHAPI_API_KEY='your_search_api_key_here'

Di Windows (Command Prompt):

set OPENAI_API_KEY=your_openai_api_key_here
set SEARCHAPI_API_KEY=your_search_api_key_here

Di Windows (PowerShell):

$env:OPENAI_API_KEY="your_openai_api_key_here"$env:SEARCHAPI_API_KEY="your_search_api_key_here"

Atau, proyek mungkin mendukung file .env. Jika demikian, buat file bernama .env di direktori root proyek dan tambahkan kunci seperti ini:

OPENAI_API_KEY=your_openai_api_key_here
SEARCHAPI_API_KEY=your_search_api_key_here

Pustaka seperti python-dotenv (jika terdaftar di requirements.txt) akan memuat variabel ini secara otomatis saat skrip dijalankan. Sekali lagi, periksa dokumentasi proyek untuk metode dan nama variabel yang benar.

Langkah 5: Jalankan Alat Penelitian

Dengan lingkungan yang disiapkan, dependensi terinstal, dan kunci API dikonfigurasi, Anda sekarang dapat menjalankan skrip utama. Perintah yang tepat akan tergantung pada bagaimana proyek disusun. Cari skrip Python utama (misalnya, main.py, research.py, atau yang serupa).

Perintahnya mungkin terlihat seperti ini ( periksa README untuk perintah dan argumen yang tepat!):

python main.py --query "Dampak adopsi energi terbarukan pada tren emisi C02 global"

Atau mungkin:

python research_agent.py "Perkembangan terbaru dalam teknologi baterai solid-state untuk kendaraan listrik"

Skrip kemudian akan:

1. Memproses kueri Anda.
2. Menggunakan kunci API pencarian untuk menemukan URL yang relevan.
3. Mengambil konten dari URL tersebut.
4. Menggunakan kunci API OpenAI untuk memproses dan mensintesis konten.
5. Menghasilkan output.

Langkah 6: Tinjau Output

Alat ini kemungkinan akan memerlukan waktu untuk berjalan, tergantung pada kompleksitas kueri, jumlah sumber yang dianalisis, dan kecepatan API. Setelah selesai, periksa output. Ini mungkin:

• Diprint langsung ke konsol terminal Anda.
• Disimpan sebagai file teks atau file Markdown di direktori proyek (misalnya, research_report.txt atau report.md).

Tinjau laporan yang dihasilkan untuk relevansi, koherensi, dan akurasi.

Kustomisasi dan Pertimbangan

• Pilihan LLM: Meskipun kemungkinan default ke OpenAI, periksa apakah proyek memungkinkan konfigurasi LLM yang berbeda (mungkin model sumber terbuka yang berjalan secara lokal melalui Ollama atau LM Studio, meskipun ini akan memerlukan perubahan kode jika tidak terintegrasi).
• Penyedia Pencarian: Anda mungkin dapat menukar penyedia API pencarian jika diperlukan.
• Rekayasa Prompt: Anda mungkin dapat memodifikasi prompt yang digunakan untuk memberi instruksi kepada LLM selama fase sintesis untuk menyesuaikan gaya atau fokus output.
• Biaya: Ingat bahwa penggunaan API (terutama model OpenAI yang lebih kuat dan kemungkinan API pencarian) menimbulkan biaya berdasarkan penggunaan. Pantau pengeluaran Anda.
• Kepastian: Alat sumber terbuka seperti ini mungkin kurang kuat daripada produk komersial. Situs web berubah, pengambilan data bisa gagal, dan output LLM bisa bervariasi. Harapkan untuk mungkin melakukan debug masalah.
• Kompleksitas: Menyiapkan ini memerlukan lebih banyak usaha teknis daripada menggunakan produk SaaS yang sudah jadi seperti Claude.

Kesimpulan

Sementara alat AI komersial seperti Claude menawarkan kemampuan penelitian terintegrasi yang mengesankan, proyek sumber terbuka seperti btahir/open-deep-research menunjukkan bahwa fungsi serupa dapat dibangun dan dijalankan secara mandiri. Dengan mengikuti langkah-langkah di atas, Anda dapat menyiapkan agen penelitian otomatis Anda sendiri, memberi Anda alat yang kuat untuk menyelami berbagai topik, dikombinasikan dengan transparansi dan potensi untuk kustomisasi yang diberikan oleh sumber terbuka. Ingatlah untuk selalu berkonsultasi dengan dokumentasi proyek tertentu (README.md) untuk instruksi yang paling akurat dan terkini. Selamat meneliti!