Các mô hình Cogito, được ra mắt bởi DeepCogito, đã nhanh chóng thu hút sự chú ý trong cộng đồng AI nhờ khả năng vượt trội so với các mô hình đã thiết lập như LLaMA và DeepSeek trên nhiều quy mô khác nhau. Những mô hình mã nguồn mở này, với kích thước từ 3B đến 70B tham số, cung cấp cho các nhà phát triển một công cụ mạnh mẽ để khám phá siêu trí tuệ chung trực tiếp trên máy cục bộ của họ.
Những điều bạn cần biết về Cogito và Ollama
Cogito đại diện cho một loạt các mô hình AI mã nguồn mở được phát triển bởi nhóm DeepCogito, với mục tiêu rõ ràng là đạt được siêu trí tuệ chung. Những mô hình này tận dụng một kỹ thuật gọi là chưng cất và khuếch đại lặp đi lặp lại (IDA), điều này cải thiện dần dần khả năng lý luận của mô hình bằng cách sử dụng nhiều tính toán hơn để đạt được những giải pháp tốt hơn và sau đó chưng cất quy trình đó vào các tham số của mô hình. Có sẵn với các kích thước như 3B, 8B, 14B, 32B và 70B, các mô hình Cogito dự kiến sẽ mở rộng hơn nữa với các phát hành sắp tới của các mô hình 109B và 400B tham số.
Mặt khác, Ollama là một framework đa năng cho phép các nhà phát triển chạy LLM trên máy cục bộ của họ, loại bỏ nhu cầu về các API dựa trên đám mây. Hỗ trợ nhiều nền tảng như MacOS, Windows và Linux, Ollama đảm bảo tính khả dụng cho một loạt người dùng. Bằng cách chạy Cogito cục bộ với Ollama, bạn có thể thử nghiệm với các mô hình AI tiên tiến trên thiết bị, điều này không chỉ tiết kiệm chi phí mà còn nâng cao quyền riêng tư dữ liệu cho các ứng dụng nhạy cảm.
Tại sao nên chạy Cogito cục bộ?
Chạy Cogito cục bộ mang lại nhiều lợi ích cho các nhà phát triển. Đầu tiên, nó loại bỏ sự phụ thuộc vào các API bên ngoài, điều này giảm độ trễ và đảm bảo rằng dữ liệu của bạn vẫn riêng tư. Điều này đặc biệt quan trọng đối với các ứng dụng mà an ninh dữ liệu là ưu tiên hàng đầu. Hơn nữa, các mô hình Cogito đã chứng minh hiệu suất vượt trội so với các đối thủ như LLaMA 4 Scout, ngay cả ở quy mô nhỏ hơn, làm cho chúng trở thành một lựa chọn tuyệt vời cho các tác vụ hiệu suất cao.
Thực thi cục bộ cũng lý tưởng cho các nhà phát triển làm việc trong những môi trường hạn chế tài nguyên hoặc các khu vực có kết nối internet hạn chế, vì nó cho phép hoạt động liền mạch mà không cần kết nối. Thêm vào đó, giao diện dòng lệnh đơn giản của Ollama giúp việc quản lý và chạy nhiều mô hình, bao gồm Cogito, dễ dàng hơn. Cuối cùng, một thiết lập cục bộ cho phép lặp lại nhanh hơn trong quá trình phát triển, đặc biệt là khi kiểm tra tích hợp API, điều này có thể được quản lý hiệu quả bằng các công cụ như Apidog để thiết kế và gỡ lỗi các điểm cuối của bạn.
Các yêu cầu cần có để chạy Cogito với Ollama
Trước khi bắt đầu quá trình thiết lập, hãy đảm bảo rằng hệ thống của bạn đáp ứng các yêu cầu cần thiết. Đối với các mô hình nhỏ hơn như phiên bản 3B hoặc 8B tham số, máy của bạn cần có ít nhất 16GB RAM, trong khi các mô hình lớn hơn như 70B có thể yêu cầu 64GB hoặc hơn để hoạt động trơn tru. Một GPU tương thích, chẳng hạn như card NVIDIA với hỗ trợ CUDA, được khuyến nghị cao vì nó tăng tốc độ suy diễn mô hình đáng kể.
Bạn cũng cần cài đặt Python 3.8 hoặc cao hơn, vì đây là một phụ thuộc cho thư viện Python của Ollama và các công cụ liên quan khác.
Kế tiếp, tải xuống và cài đặt Ollama từ trang web chính thức hoặc kho GitHub của nó, làm theo các hướng dẫn cụ thể cho hệ điều hành của bạn. Dung lượng lưu trữ cũng là một yếu tố quan trọng—các mô hình Cogito có thể dao động từ vài gigabyte cho mô hình 3B đến hơn 100GB cho mô hình 70B, vì vậy hãy đảm bảo rằng hệ thống của bạn có đủ không gian. Cuối cùng, nếu bạn dự định tích hợp Cogito với các API, việc cài đặt Apidog sẽ giúp bạn thiết kế và kiểm tra các điểm cuối API một cách hiệu quả, đảm bảo trải nghiệm phát triển suôn sẻ.
Bước 1: Cài đặt Ollama trên máy của bạn
Bước đầu tiên trong việc chạy Cogito cục bộ là cài đặt Ollama trên máy của bạn. Bắt đầu bằng cách truy cập trang web hoặc trang GitHub của Ollama để tải về trình cài đặt cho hệ điều hành của bạn. Đối với người dùng MacOS và Windows, chỉ cần chạy trình cài đặt và làm theo các hướng dẫn trên màn hình để hoàn tất thiết lập. Nếu bạn đang sử dụng Linux, bạn có thể cài đặt Ollama trực tiếp bằng cách thực thi lệnh:
curl -fsSL https://ollama.com/install.sh | sh trong terminal của bạn.
Sau khi cài đặt xong, mở terminal và gõ ollama --version để xác nhận rằng Ollama đã được cài đặt đúng cách.
Để đảm bảo Ollama đang chạy, thực thi ollama serve, điều này sẽ khởi động máy chủ cục bộ để quản lý mô hình. Bước này cũng thiết lập giao diện dòng lệnh của Ollama, mà bạn sẽ sử dụng để kéo và chạy các mô hình như Cogito trong các bước tiếp theo.
Bước 2: Kéo mô hình Cogito từ thư viện của Ollama
Với Ollama đã được cài đặt, bước tiếp theo là tải về mô hình Cogito. Mở terminal của bạn và chạy lệnh ollama pull cogito để lấy mô hình Cogito từ thư viện của Ollama.
Mặc định, lệnh này sẽ kéo phiên bản mới nhất của mô hình Cogito, nhưng bạn có thể chỉ định một kích thước cụ thể bằng cách sử dụng một thẻ, chẳng hạn như ollama pull cogito:3b cho mô hình 3B tham số. Bạn có thể khám phá các kích thước mô hình có sẵn tại https://ollama.com/library/cogito.
Tùy thuộc vào tốc độ internet của bạn và kích thước mô hình, quá trình tải xuống có thể mất một thời gian—mong đợi khoảng 2.2GB cho mô hình 3B và lên đến 43GB cho mô hình 70B. Sau khi tải xuống hoàn tất, xác minh rằng mô hình đã có sẵn trên hệ thống của bạn bằng cách chạy ollama list, để hiển thị tất cả các mô hình đã cài đặt. Tại thời điểm này, Cogito đã sẵn sàng để được chạy cục bộ, và bạn có thể chuyển sang bước tiếp theo.
Bước 3: Chạy Cogito cục bộ với Ollama
Bây giờ mà mô hình đã được tải xuống, bạn có thể bắt đầu chạy Cogito trên máy của mình. Trong terminal của bạn, thực thi lệnh ollama run cogito để khởi động mô hình Cogito.
Bước 4: Tăng cường kiểm tra API với Apidog
Cogito xuất sắc trong việc tạo mã API, nhưng kiểm tra các API đó là rất quan trọng. Apidog đơn giản hóa quy trình này:
Cài đặt Apidog:
Tải về và cài đặt Apidog từ trang chính thức của nó.
Kiểm tra API đã tạo:
Lấy điểm cuối Flask từ trước đó. Trong Apidog:
- Tạo một yêu cầu mới.
- Đặt URL thành
http://localhost:5000/api/datavà gửi yêu cầu GET.
- Xác minh phản hồi:
{"message": "Hello, World!"}.
Tự động kiểm tra:
Sử dụng kịch bản của Apidog để tự động hóa việc xác minh, đảm bảo đầu ra của DeepCoder đáp ứng kỳ vọng.
Apidog tạo cầu nối giữa việc tạo mã và triển khai, nâng cao năng suất.
Khắc phục sự cố thường gặp
Chạy Cogito cục bộ đôi khi có thể gặp khó khăn, nhưng hầu hết các vấn đề có thể được giải quyết với một vài kiểm tra. Nếu Ollama không khởi động, hãy xác minh rằng không có tiến trình nào khác đang sử dụng cổng 11434—bạn có thể kết thúc tiến trình xung đột hoặc thay đổi cổng trong cấu hình của Ollama. Đối với lỗi “hết bộ nhớ”, hãy cân nhắc giảm kích thước mô hình hoặc tăng không gian hoán đổi của hệ thống của bạn để phù hợp với các mô hình lớn hơn. Nếu mô hình không phản hồi, hãy đảm bảo rằng bạn đã kéo nó đúng cách bằng cách sử dụng ollama pull cogito và nó xuất hiện trong đầu ra ollama list. Thời gian suy diễn chậm thường chỉ ra rằng bạn đang chạy trên chỉ CPU—kiểm tra hỗ trợ GPU bằng cách chạy nvidia-smi để xác nhận rằng CUDA đang hoạt động.
Khi sử dụng Apidog để tích hợp API, lỗi có thể phát sinh từ các payload JSON không chính xác, vì vậy hãy kiểm tra lại sơ đồ của bạn trong trình chỉnh sửa của Apidog. Đối với các chẩn đoán chi tiết hơn, hãy xem nhật ký của Ollama tại ~/.ollama/logs để xác định và nhanh chóng giải quyết các vấn đề.
Kết luận
Chạy Cogito cục bộ với Ollama mở ra một thế giới cơ hội cho các nhà phát triển muốn khám phá siêu trí tuệ chung. Bằng cách làm theo các bước được nêu trong hướng dẫn này, bạn có thể thiết lập Cogito trên máy của mình, tối ưu hóa hiệu suất của nó, và thậm chí tích hợp nó vào các ứng dụng lớn hơn bằng các API được quản lý với Apidog. Dù bạn đang xây dựng hệ thống RAG, trợ lý lập trình, hay ứng dụng web, khả năng tiên tiến của Cogito khiến nó trở thành một công cụ mạnh mẽ cho đổi mới. Khi đội ngũ DeepCogito tiếp tục phát hành các mô hình lớn hơn và tinh chỉnh các kỹ thuật của họ, tiềm năng phát triển AI cục bộ sẽ chỉ gia tăng, trao quyền cho các nhà phát triển tạo ra những giải pháp đột phá.