Blog

Hướng Dẫn Chạy Osmosis-Structure-0.6B Nội Bộ với Ollama

Mark Ponomarev

Mark Ponomarev

30 tháng 5 2025

Hướng Dẫn Chạy Osmosis-Structure-0.6B Nội Bộ với Ollama

Được rồi, vậy làm thế nào mà osmosis-structure-0.6b có tên?

Mô hình bạn quan tâm, osmosis/osmosis-structure-0.6b, có sẵn thông qua nền tảng Ollama. Bản thân cái tên đã cung cấp một số manh mối quý giá:

Mặc dù các thông số kỹ thuật chính xác, dữ liệu huấn luyện, điểm chuẩn cụ thể và các trường hợp sử dụng chính tốt nhất nên tìm thấy trên thẻ mô hình chính thức của nó trên trang web Ollama (liên kết bạn có), chúng ta có thể suy luận những kỳ vọng chung cho một mô hình 0.6B tham số tập trung vào "cấu trúc":

Kích thước nhỏ của nó cho phép thời gian tải nhanh và tiêu thụ tài nguyên (CPU, RAM) thấp hơn so với các mô hình hàng tỷ tham số.

Chỉ định "Structure" (Cấu trúc) của nó cho thấy nó sẽ hoạt động tốt hơn trên các tác vụ như:

Hiệu suất: Đối với một mô hình có kích thước này, nó sẽ hướng đến hiệu suất mạnh mẽ trên các tác vụ chuyên biệt của mình, thay vì cố gắng trở thành một nguồn kiến thức tổng quát mạnh mẽ như các mô hình lớn hơn nhiều. Các điểm chuẩn của nó (mà bạn nên kiểm tra trên thẻ mô hình của nó) có thể sẽ phản ánh khả năng của nó trong các lĩnh vực có cấu trúc này.

Hãy chạy osmosis-structure-0.6b với Ollama

Ollama là một công cụ giúp đơn giản hóa đáng kể việc chạy các mô hình ngôn ngữ lớn mã nguồn mở trên máy tính cục bộ của bạn. Nó đóng gói trọng số mô hình (model weights), cấu hình và cơ chế phục vụ (serving mechanism), cho phép thiết lập và tương tác dễ dàng.

Ollama cho phép bạn khai thác sức mạnh của các LLM như osmosis/osmosis-structure-0.6b mà không cần dựa vào các API dựa trên đám mây. Điều này đảm bảo quyền riêng tư, cho phép sử dụng ngoại tuyến và cung cấp một cách hiệu quả về chi phí để thử nghiệm và xây dựng ứng dụng. Nó có sẵn cho macOS, Windows và Linux.

Đầu tiên, bạn cần cài đặt Ollama

Quy trình cài đặt hơi khác nhau tùy thuộc vào hệ điều hành của bạn.

Đối với macOS: Thông thường, bạn sẽ tải xuống ứng dụng Ollama từ trang web chính thức của nó. Tệp tải xuống thường là tệp .zip chứa Ollama.app. Giải nén và di chuyển Ollama.app vào thư mục /Applications của bạn. Khởi chạy ứng dụng sẽ bắt đầu dịch vụ nền Ollama, thường được biểu thị bằng một biểu tượng trên thanh menu.

Đối với Windows: Một tệp cài đặt thực thi (installer executable) có sẵn trên trang web Ollama. Tải xuống và chạy nó, làm theo các hướng dẫn trên màn hình. Ollama trên Windows thường tích hợp với Windows Subsystem for Linux (WSL 2), trình cài đặt có thể giúp thiết lập nếu nó chưa được cấu hình. Sau khi cài đặt, Ollama chạy dưới dạng dịch vụ nền.

Đối với Linux: Cách phổ biến để cài đặt Ollama trên Linux là thông qua lệnh curl được cung cấp trên trang web của họ, lệnh này sẽ tải về và thực thi một script cài đặt:

curl -fsSL [<https://ollama.com/install.sh>](<https://ollama.com/install.sh>) | sh

Lệnh này thiết lập Ollama, và nó thường chạy dưới dạng dịch vụ systemd.

Sau khi cài đặt, mở terminal của bạn (hoặc PowerShell/Command Prompt trên Windows) và nhập lệnh sau:

ollama --version

Lệnh này sẽ hiển thị phiên bản Ollama đã cài đặt, xác nhận rằng CLI đang hoạt động chính xác.

Chạy osmosis/osmosis-structure-0.6b Cục bộ với Ollama

Với Ollama đã được cài đặt và đang chạy, giờ đây bạn có thể tải (pull) và tương tác với mô hình osmosis/osmosis-structure-0.6b.

Cân nhắc về Phần cứng:

Bước 1. Tải mô hình về (Fetching the Model)

Để tải mô hình về hệ thống cục bộ của bạn, sử dụng lệnh ollama pull với định danh đầy đủ của mô hình:

ollama pull osmosis/osmosis-structure-0.6b

Ollama sau đó sẽ:

Trong khi ollama pull cung cấp cho bạn cấu hình mặc định, bạn có thể tùy chỉnh hành vi của mô hình bằng cách tạo một Modelfile tùy chỉnh nếu bạn muốn thay đổi các tham số như temperature (độ ngẫu nhiên), num_ctx (kích thước cửa sổ ngữ cảnh), hoặc lời nhắc hệ thống (system prompt). Sau đó, bạn sẽ sử dụng lệnh ollama create your-custom-osmosis -f ./YourModelfile (sử dụng mô hình gốc làm cơ sở FROM osmosis/osmosis-structure-0.6b). Kiểm tra tài liệu chính thức của Ollama để biết cú pháp Modelfile. Các cài đặt mặc định cho osmosis/osmosis-structure-0.6b có thể đã được tối ưu hóa bởi nhà phát hành của nó.

Bước 2. Trò chuyện tương tác qua Dòng lệnh (Command Line)

Cách đơn giản nhất để tương tác với mô hình mới tải xuống của bạn là thông qua lệnh ollama run:

ollama run osmosis/osmosis-structure-0.6b

Lệnh này tải mô hình vào bộ nhớ và cung cấp cho bạn một dấu nhắc tương tác (ví dụ: >>>). Bạn có thể gõ câu hỏi hoặc hướng dẫn của mình, nhấn Enter, và mô hình sẽ tạo ra phản hồi.

Ví dụ, nếu bạn muốn kiểm tra khả năng SQL của nó (giả sử đây là một trong những điểm mạnh của nó dựa trên trọng tâm "Structure" của nó):

>>> Given a table 'users' with columns 'id', 'name', 'email', and 'signup_date', write a SQL query to find all users who signed up in the year 2024.

Mô hình sau đó sẽ cung cấp truy vấn SQL đã tạo của nó.

Để thoát khỏi phiên tương tác này, bạn thường có thể gõ /bye, /exit hoặc nhấn Ctrl+D.

Bước 3. Tương tác qua API của Ollama

Ollama phục vụ các mô hình thông qua một API REST cục bộ, thường có sẵn tại http://localhost:11434. Điều này cho phép bạn tích hợp osmosis/osmosis-structure-0.6b vào các ứng dụng và script của riêng bạn.

Đây là một ví dụ Python sử dụng thư viện requests để tương tác với API. Đầu tiên, đảm bảo rằng thư viện requests đã được cài đặt:

pip install requests

Bây giờ, script Python:

import requests
import json

OLLAMA_ENDPOINT = "<http://localhost:11434/api/generate>"
MODEL_NAME = "osmosis/osmosis-structure-0.6b" # Correct model name

def generate_response(prompt_text, stream_output=False):
    """
    Gửi một lời nhắc (prompt) đến API của Ollama cho mô hình được chỉ định.
    Trả về văn bản phản hồi tổng hợp.
    Đặt stream_output=True để in các phần của phản hồi khi chúng đến.
    """
    payload = {
        "model": MODEL_NAME,
        "prompt": prompt_text,
        "stream": stream_output
    }

    full_response_text = ""
    try:
        response = requests.post(OLLAMA_ENDPOINT, json=payload, stream=stream_output)
        response.raise_for_status()

        if stream_output:
            for line in response.iter_lines():
                if line:
                    decoded_line = line.decode('utf-8')
                    json_object = json.loads(decoded_line)
                    chunk = json_object.get('response', '')
                    print(chunk, end='', flush=True)
                    full_response_text += chunk
                    if json_object.get('done'):
                        print("\\\\n--- Stream Complete ---")
                        break
        else:
            response_data = response.json()
            full_response_text = response_data.get('response', '')
            print(full_response_text)

        return full_response_text

    except requests.exceptions.RequestException as e:
        print(f"\\\\nLỗi khi kết nối với API của Ollama: {e}")
        if "connection refused" in str(e).lower():
            print("Đảm bảo ứng dụng hoặc dịch vụ Ollama đang chạy.")
        return None
    except json.JSONDecodeError as e:
        print(f"\\\\nLỗi khi giải mã phản hồi JSON: {e}")
        print(f"Nội dung gây lỗi: {response.text if 'response' in locals() else 'Không có đối tượng phản hồi'}")
        return None

if __name__ == "__main__":
    # Đảm bảo Ollama đang chạy và mô hình đã được tải hoặc sẵn sàng.
    # Ollama thường tải mô hình khi có yêu cầu API đầu tiên nếu chưa được tải.

    prompt1 = "Viết một hàm Python để serialize một dictionary thành chuỗi JSON."
    print(f"--- Đang gửi Lời nhắc 1: {prompt1} ---")
    response1 = generate_response(prompt1)
    if response1:
        print("\\\\n--- Đã nhận Phản hồi 1 từ Mô hình ---")

    print("\\\\n" + "="*50 + "\\\\n") # Dấu phân cách

    prompt2 = "Giải thích sự khác biệt giữa LEFT JOIN và INNER JOIN trong SQL, bằng những thuật ngữ đơn giản."
    print(f"--- Đang gửi Lời nhắc 2 (Streaming): {prompt2} ---")
    response2 = generate_response(prompt2, stream_output=True)
    if response2:
        # Phản hồi đầy đủ đã được in bởi logic streaming
        pass
    else:
        print("\\\\nKhông lấy được phản hồi cho lời nhắc 2.")

Script này định nghĩa một hàm để gửi lời nhắc (prompt) đến mô hình osmosis/osmosis-structure-0.6b. Nó có thể xử lý cả phản hồi dạng streaming và không streaming. Hãy nhớ rằng dịch vụ Ollama phải đang chạy để script này hoạt động.

Bước 4. Thử một vài Lời nhắc (Prompts)

Điểm mạnh cụ thể của osmosis/osmosis-structure-0.6b được hiểu rõ nhất bằng cách xem lại thẻ mô hình của nó trên trang web Ollama. Tuy nhiên, đối với một mô hình 0.6B tập trung vào "Structure", bạn có thể thử các lời nhắc (prompts) như sau:

Text-to-SQL:

Thao tác/Tạo JSON:

Tạo mã đơn giản (ví dụ: Python):

Tuân theo hướng dẫn để định dạng đầu ra:

Thử nghiệm là chìa khóa! Hãy thử các loại lời nhắc khác nhau liên quan đến dữ liệu có cấu trúc để khám phá điểm mạnh và điểm yếu của mô hình. Tham khảo thẻ mô hình Ollama của nó để được hướng dẫn về các chức năng thiết kế chính của nó.

Kiểm tra API cục bộ của Ollama với Apidog

Apidog là một công cụ kiểm tra API kết hợp tốt với chế độ API của Ollama. Nó cho phép bạn gửi yêu cầu, xem phản hồi và gỡ lỗi thiết lập Qwen 3 của bạn một cách hiệu quả.

Đây là cách sử dụng Apidog với Ollama:

Phản hồi dạng Streaming:

curl http://localhost:11434/api/generate -d '{"model": "gemma3:4b-it-qat", "prompt": "Write a poem about AI.", "stream": true}'

Quá trình này đảm bảo mô hình của bạn hoạt động như mong đợi, biến Apidog thành một bổ sung có giá trị.

💡
Muốn có một công cụ kiểm tra API tuyệt vời tạo ra Tài liệu API đẹp mắt?

Muốn một nền tảng tích hợp, Tất cả trong Một cho Nhóm phát triển của bạn làm việc cùng nhau với năng suất tối đa?

Apidog đáp ứng mọi nhu cầu của bạn, và thay thế Postman với mức giá phải chăng hơn nhiều!
button

Kết luận

Mô hình osmosis/osmosis-structure-0.6b mang đến một cơ hội thú vị để chạy một mô hình ngôn ngữ nhỏ gọn, tập trung vào cấu trúc ngay trên máy cục bộ. Nhờ có Ollama, quá trình tải xuống và tương tác với nó trở nên dễ tiếp cận với nhiều đối tượng. Bằng cách tận dụng khả năng của nó, bạn có thể khám phá các ứng dụng trong xử lý dữ liệu, hỗ trợ viết mã và các lĩnh vực khác yêu cầu đầu ra có cấu trúc, tất cả đều với quyền riêng tư và khả năng kiểm soát của việc thực thi cục bộ.

Luôn tham khảo trang chính thức của mô hình trên Ollama (ollama.com/osmosis/osmosis-structure-0.6b:latest) để có thông tin đáng tin cậy nhất từ các nhà phát triển của nó. Chúc bạn thử nghiệm vui vẻ với AI cục bộ!

Thực hành thiết kế API trong Apidog

Khám phá cách dễ dàng hơn để xây dựng và sử dụng API

Đăng ký miễn phíTải xuống