Cách Xây Dựng Một Giải Pháp Mở Nguồn Thay Thế Claude Nghiên Cứu

Claude của Anthropic gần đây đã thu hút sự chú ý với các khả năng mới cho phép truy cập và tổng hợp thông tin trên web theo thời gian thực, hiệu quả hoạt động như một trợ lý nghiên cứu. Tính năng này, thường được thảo luận như "Claude Research", nhằm mục đích vượt ra ngoài tìm kiếm web đơn giản bằng cách khám phá nhiều khía cạnh của một chủ đề, tập hợp thông tin từ nhiều nguồn khác nhau và cung cấp câu trả lời được tổng hợp. Mặc dù có sức mạnh, việc dựa vào các hệ thống đóng kín, sở hữu không phải lúc nào cũng lý tưởng. Nhiều người dùng tìm kiếm sự kiểm soát nhiều hơn, tính minh bạch, khả năng tùy chỉnh, hoặc chỉ đơn giản muốn thử nghiệm với công nghệ cơ bản.

Tin tốt là cộng đồng mã nguồn mở thường cung cấp các khối xây dựng để tái tạo các chức năng như vậy. Một dự án thú vị trong lĩnh vực này là btahir/open-deep-research trên GitHub. Công cụ này nhằm mục đích tự động hóa quy trình thực hiện nghiên cứu sâu về một chủ đề bằng cách tận dụng tìm kiếm trên web và Mô hình Ngôn ngữ Lớn (LLMs).

Hãy cùng hiểu trước các khả năng chính mà các tính năng nghiên cứu AI tinh vi như của Claude cung cấp, mà open-deep-research cố gắng mô phỏng theo cách mã nguồn mở, và sau đó tìm hiểu cách bạn có thể chạy công cụ này cho riêng mình.

Giới thiệu open-deep-research: Điểm bắt đầu mã nguồn mở của bạn

Dự án open-deep-research (https://github.com/btahir/open-deep-research) cung cấp một khung để đạt được các mục tiêu tương tự bằng cách sử dụng các công cụ và API sẵn có. Nó có khả năng tổ chức một quy trình bao gồm:

• Câu Truy Vấn Công Cụ Tìm Kiếm: Sử dụng các API (như SearchApi, Google Search API, v.v.) để tìm các trang web liên quan cho một chủ đề nghiên cứu nhất định.
• Web Scraping: Lấy nội dung từ các URL đã xác định.
• Xử Lý LLM: Sử dụng một Mô hình Ngôn ngữ Lớn (chủ yếu thông qua API OpenAI, nhưng có thể thích ứng) để đọc, hiểu, tổng hợp và cấu trúc thông tin thu thập từ các trang web.
• Tạo Báo Cáo: Biên soạn thông tin đã xử lý thành một đầu ra cuối cùng, chẳng hạn như báo cáo chi tiết.

Bằng cách tự mình thực hiện điều này, bạn sẽ có được sự minh bạch trong quy trình và khả năng tùy chỉnh nó.

Hướng Dẫn Từng Bước Để Chạy open-deep-research

Sẵn sàng để thử xây dựng trợ lý nghiên cứu của riêng bạn? Đây là hướng dẫn chi tiết để đưa open-deep-research vào hoạt động.

Các yêu cầu trước:

• Python: Bạn sẽ cần cài đặt Python trên hệ thống của mình (thường là Python 3.7+).
• Git: Cần thiết để nhân bản kho lưu trữ.
• API Keys: Điều này rất quan trọng. Công cụ sẽ cần các khóa API cho:
• Một API Công Cụ Tìm Kiếm: Để thực hiện các tìm kiếm trên web một cách lập trình. Các ví dụ bao gồm SearchApi, Serper hoặc có thể là những cái khác tùy thuộc vào cấu hình dự án. Bạn sẽ cần đăng ký một trong những dịch vụ này và lấy một khóa API.
• Một API LLM: Có thể là khóa API OpenAI để truy cập các mô hình GPT (như GPT-3.5 hoặc GPT-4) sẽ được yêu cầu cho bước tổng hợp. Bạn sẽ cần một tài khoản OpenAI với quyền truy cập API.
• (Kiểm tra README của open-deep-research để biết các API và khóa cần thiết cụ thể).
• Dòng Lệnh / Terminal: Bạn sẽ chạy các lệnh trong terminal hoặc command prompt của mình.

Bước 1: Nhân Bản Kho Lưu Trữ

Đầu tiên, mở terminal của bạn và điều hướng đến thư mục nơi bạn muốn lưu trữ dự án. Sau đó, nhân bản kho lưu trữ GitHub:

git clone <https://github.com/btahir/open-deep-research.git>

Giờ đây, hãy chuyển vào thư mục dự án vừa được tạo:

cd open-deep-research

Bước 2: Thiết Lập Môi Trường Ảo (Khuyến nghị)

Thực hành tốt nhất là sử dụng một môi trường ảo để quản lý các phụ thuộc của dự án một cách riêng biệt.

Trên macOS/Linux:

python3 -m venv venv
source venv/bin/activate

Trên Windows:

python -m venv venv
.\\venv\\Scripts\\activate

Đầu dòng terminal của bạn giờ đây nên chỉ ra rằng bạn đang ở trong môi trường (venv).

Bước 3: Cài Đặt Các Phụ Thuộc

Dự án nên bao gồm một tệp requirements.txt liệt kê tất cả các thư viện Python cần thiết. Hãy cài đặt chúng bằng cách sử dụng pip:

pip install -r requirements.txt

Lệnh này sẽ tải xuống và cài đặt các thư viện như openai, requests, có thể beautifulsoup4 hoặc tương tự cho việc scraping, và các thư viện cho API tìm kiếm cụ thể được sử dụng.

Bước 4: Cấu Hình Các Khóa API

Đây là bước cấu hình quan trọng nhất. Bạn cần cung cấp các khóa API mà bạn đã nhận được trong các yêu cầu trước. Các dự án mã nguồn mở thường xử lý các khóa qua các biến môi trường hoặc một tệp .env. Tham khảo cẩn thận tệp README của open-deep-research để biết tên của các biến môi trường cần thiết.

Thông thường, bạn có thể cần thiết lập các biến như:

• OPENAI_API_KEY
• SEARCHAPI_API_KEY (hoặc SERPER_API_KEY, GOOGLE_API_KEY v.v., tùy thuộc vào dịch vụ tìm kiếm được sử dụng)

Bạn có thể thiết lập các biến môi trường trực tiếp trong terminal của bạn (những biến này là tạm thời cho phiên hiện tại):

Trên macOS/Linux:

export OPENAI_API_KEY='your_openai_api_key_here'
export SEARCHAPI_API_KEY='your_search_api_key_here'

Trên Windows (Command Prompt):

set OPENAI_API_KEY=your_openai_api_key_here
set SEARCHAPI_API_KEY=your_search_api_key_here

Trên Windows (PowerShell):

$env:OPENAI_API_KEY="your_openai_api_key_here"$env:SEARCHAPI_API_KEY="your_search_api_key_here"

Ngược lại, dự án có thể hỗ trợ một tệp .env. Nếu vậy, hãy tạo một tệp có tên .env trong thư mục gốc của dự án và thêm các khóa như sau:

OPENAI_API_KEY=your_openai_api_key_here
SEARCHAPI_API_KEY=your_search_api_key_here

Các thư viện như python-dotenv (nếu được liệt kê trong requirements.txt) sẽ tự động tải các biến này khi kịch bản chạy. Một lần nữa, kiểm tra tài liệu của dự án để biết phương pháp và tên biến chính xác.

Bước 5: Chạy Công Cụ Nghiên Cứu

Khi môi trường đã được thiết lập, các phụ thuộc đã được cài đặt và các khóa API đã được cấu hình, bạn có thể chạy kịch bản chính. Lệnh chính xác sẽ phụ thuộc vào cách dự án được cấu trúc. Tìm một kịch bản Python chính (ví dụ: main.py, research.py, hoặc tương tự).

Lệnh có thể trông giống như thế này ( kiểm tra README để biết lệnh và tham số chính xác!):

python main.py --query "Tác động của việc áp dụng năng lượng tái tạo đối với xu hướng phát thải C02 toàn cầu"

Hoặc có thể:

python research_agent.py "Các tiến bộ mới nhất trong công nghệ pin trạng thái rắn cho xe điện"

Kịch bản sau đó sẽ:

1. Nhận truy vấn của bạn.
2. Sử dụng khóa API tìm kiếm để tìm các URL liên quan.
3. Scrape nội dung từ những URL đó.
4. Sử dụng khóa API OpenAI để xử lý và tổng hợp nội dung.
5. Tạo một đầu ra.

Bước 6: Xem Lại Đầu Ra

Công cụ có thể mất một thời gian để chạy, tùy thuộc vào độ phức tạp của truy vấn, số lượng nguồn phân tích, và tốc độ của các API. Khi hoàn tất, hãy kiểm tra đầu ra. Đây có thể là:

• In trực tiếp vào console terminal của bạn.
• Được lưu dưới dạng tệp văn bản hoặc tệp Markdown trong thư mục dự án (ví dụ: research_report.txt hoặc report.md).

Xem xét báo cáo được tạo ra để đảm bảo tính liên quan, sự mạch lạc và độ chính xác.

Tùy Chỉnh và Các Cân Nhắc

• Lựa Chọn LLM: Mặc dù có thể mặc định là OpenAI, hãy kiểm tra xem dự án có cho phép cấu hình các LLM khác (có thể là các mô hình mã nguồn mở chạy cục bộ qua Ollama hoặc LM Studio, mặc dù điều này sẽ yêu cầu thay đổi mã nếu không được tích hợp sẵn).
• Nhà Cung Cấp Tìm Kiếm: Bạn có thể có khả năng thay thế nhà cung cấp API tìm kiếm nếu cần.
• Kỹ Thuật Đặt Lời Nhắc: Bạn có thể thay đổi các lệnh nhắc được sử dụng để chỉ dẫn LLM trong giai đoạn tổng hợp để điều chỉnh phong cách hoặc trọng tâm đầu ra.
• Chi Phí: Hãy nhớ rằng việc sử dụng các API (đặc biệt là các mô hình mạnh mẽ hơn của OpenAI và có thể là các API tìm kiếm) sẽ phát sinh chi phí dựa trên việc sử dụng. Theo dõi chi phí của bạn.
• Tính Đáng Tin Cậy: Các công cụ mã nguồn mở như thế này có thể ít mạnh mẽ hơn so với các sản phẩm thương mại. Các trang web thay đổi, việc scraping có thể thất bại, và đầu ra của LLM có thể thay đổi. Hãy mong đợi có khả năng debug các vấn đề.
• Độ Phức Tạp: Thiết lập điều này yêu cầu nỗ lực kỹ thuật nhiều hơn so với việc sử dụng một sản phẩm SaaS đã được tinh chỉnh như Claude.

Kết Luận

Trong khi các công cụ AI thương mại như Claude cung cấp các khả năng nghiên cứu ấn tượng và tích hợp, các dự án mã nguồn mở như btahir/open-deep-research chứng minh rằng các chức năng tương tự có thể được xây dựng và hoạt động độc lập. Bằng cách làm theo các bước trên, bạn có thể thiết lập chính mình một đại lý nghiên cứu tự động, cung cấp cho bạn một công cụ mạnh mẽ để khám phá sâu sắc các chủ đề khác nhau, kết hợp với tính minh bạch và khả năng tùy chỉnh mà mã nguồn mở cung cấp. Luôn nhớ tham khảo tài liệu của dự án cụ thể (README.md) để có hướng dẫn chính xác và cập nhật nhất. Chúc bạn nghiên cứu vui vẻ!