Blog

Ollama로 Osmosis-Structure-0.6B 로컬 실행 방법

Mark Ponomarev

Mark Ponomarev

30 May 2025

Ollama로 Osmosis-Structure-0.6B 로컬 실행 방법

알겠습니다. 그렇다면 osmosis-structure-0.6b의 이름은 어떻게 지어졌을까요?

관심 있는 모델인 osmosis/osmosis-structure-0.6b는 Ollama 플랫폼을 통해 사용할 수 있습니다. 이름 자체에 몇 가지 유용한 단서가 있습니다.

정확한 사양, 학습 데이터, 특정 벤치마크, 주요 사용 사례는 Ollama 웹사이트의 공식 모델 카드(가지고 있는 링크)에서 가장 잘 찾을 수 있지만, '구조(structure)'에 초점을 맞춘 0.6B 파라미터 모델에 대한 일반적인 기대치를 추론할 수 있습니다.

작은 크기로 인해 수십억 파라미터 모델에 비해 로딩 시간이 빠르고 리소스 소비(CPU, RAM)가 적습니다.

'구조(Structure)' 지정은 다음과 같은 작업에서 더 나은 성능을 발휘할 것임을 시사합니다.

성능: 이 크기의 모델은 훨씬 더 큰 모델처럼 일반적인 지식의 강자가 되기보다는 특화된 작업에서 강력한 성능을 목표로 할 것입니다. 벤치마크(모델 카드에서 확인해야 함)는 이러한 구조화된 영역에서의 기능을 반영할 가능성이 높습니다.

Ollama로 osmosis-structure-0.6b 실행하기

Ollama는 로컬 머신에서 오픈 소스 대규모 언어 모델을 실행하는 과정을 획기적으로 단순화하는 도구입니다. 모델 가중치, 구성 및 서비스 메커니즘을 패키징하여 쉬운 설정과 상호 작용을 가능하게 합니다.

Ollama를 사용하면 클라우드 기반 API에 의존하지 않고도 osmosis/osmosis-structure-0.6b와 같은 LLM의 성능을 활용할 수 있습니다. 이를 통해 개인 정보 보호가 보장되고, 오프라인 사용이 가능하며, 애플리케이션을 실험하고 구축하는 비용 효율적인 방법을 제공합니다. macOS, Windows 및 Linux에서 사용할 수 있습니다.

첫째, Ollama를 설치해야 합니다

설치 절차는 운영 체제에 따라 약간 다릅니다.

macOS의 경우: 일반적으로 Ollama 웹사이트에서 Ollama 애플리케이션을 다운로드합니다. 다운로드 파일은 보통 Ollama.app이 포함된 .zip 파일입니다. 압축을 풀고 Ollama.app을 /Applications 폴더로 이동합니다. 앱을 실행하면 Ollama 백그라운드 서비스가 시작되며, 종종 메뉴 바 아이콘으로 표시됩니다.

Windows의 경우: Ollama 웹사이트에서 설치 실행 파일을 다운로드할 수 있습니다. 다운로드하여 화면의 지시에 따라 실행합니다. Windows의 Ollama는 종종 WSL 2(Windows Subsystem for Linux)와 통합되며, 설치 프로그램이 아직 구성되지 않은 경우 설정을 도울 수 있습니다. 설치가 완료되면 Ollama는 백그라운드 서비스로 실행됩니다.

Linux의 경우: Linux에 Ollama를 설치하는 일반적인 방법은 웹사이트에서 제공하는 curl 명령을 사용하는 것입니다. 이 명령은 설치 스크립트를 가져와 실행합니다.

curl -fsSL [<https://ollama.com/install.sh>](<https://ollama.com/install.sh>) | sh

이 명령은 Ollama를 설정하며, 일반적으로 systemd 서비스로 실행됩니다.

설치 후 터미널(Windows에서는 PowerShell/명령 프롬프트)을 열고 다음 명령을 실행합니다.

ollama --version

이렇게 하면 설치된 Ollama 버전이 표시되어 CLI가 올바르게 작동하는지 확인할 수 있습니다.

Ollama를 사용하여 로컬에서 osmosis/osmosis-structure-0.6b 실행하기

Ollama가 설치 및 실행되면 이제 osmosis/osmosis-structure-0.6b 모델을 가져와 상호 작용할 수 있습니다.

하드웨어 고려 사항:

단계 1. 모델 가져오기

모델을 로컬 시스템으로 다운로드하려면 모델의 전체 식별자와 함께 ollama pull 명령을 사용합니다.

ollama pull osmosis/osmosis-structure-0.6b

그러면 Ollama는 다음과 같이 작동합니다.

ollama pull은 기본 구성을 가져오지만, temperature(무작위성), num_ctx(컨텍스트 창 크기) 또는 시스템 프롬프트와 같은 매개변수를 변경하려면 사용자 정의 Modelfile을 생성하여 모델 동작을 사용자 정의할 수 있습니다. 그런 다음 ollama create your-custom-osmosis -f ./YourModelfile 명령을 사용합니다(원래 모델을 기본으로 사용: FROM osmosis/osmosis-structure-0.6b). Modelfile 구문에 대한 자세한 내용은 공식 Ollama 문서를 확인하십시오. osmosis/osmosis-structure-0.6b의 기본 설정은 게시자가 이미 최적화했을 가능성이 높습니다.

단계 2. 명령줄을 통한 대화형 채팅

새로 다운로드한 모델과 상호 작용하는 가장 간단한 방법은 ollama run 명령을 사용하는 것입니다.

ollama run osmosis/osmosis-structure-0.6b

이 명령은 모델을 메모리에 로드하고 대화형 프롬프트(예: >>>)를 제공합니다. 질문이나 지침을 입력하고 Enter를 누르면 모델이 응답을 생성합니다.

예를 들어, SQL 기능을 테스트하고 싶다면('구조(Structure)' 초점을 기반으로 강점 중 하나라고 가정할 때):

>>> 'id', 'name', 'email', 'signup_date' 열이 있는 'users' 테이블이 주어졌을 때, 2024년에 가입한 모든 사용자를 찾는 SQL 쿼리를 작성하세요.

그러면 모델이 생성된 SQL 쿼리를 제공할 것입니다.

이 대화형 세션을 종료하려면 일반적으로 /bye, /exit를 입력하거나 Ctrl+D를 누르면 됩니다.

단계 3. Ollama API를 통한 상호 작용

Ollama는 로컬 REST API를 통해 모델을 서비스하며, 일반적으로 http://localhost:11434에서 사용할 수 있습니다. 이를 통해 osmosis/osmosis-structure-0.6b를 자체 애플리케이션 및 스크립트에 통합할 수 있습니다.

다음은 requests 라이브러리를 사용하여 API와 상호 작용하는 Python 예제입니다. 먼저 requests가 설치되어 있는지 확인하십시오.

pip install requests

이제 Python 스크립트입니다.

import requests
import json

OLLAMA_ENDPOINT = "<http://localhost:11434/api/generate>"
MODEL_NAME = "osmosis/osmosis-structure-0.6b" # Correct model name

def generate_response(prompt_text, stream_output=False):
    """
    Sends a prompt to the Ollama API for the specified model.
    Returns the consolidated response text.
    Set stream_output=True to print parts of the response as they arrive.
    """
    payload = {
        "model": MODEL_NAME,
        "prompt": prompt_text,
        "stream": stream_output
    }

    full_response_text = ""
    try:
        response = requests.post(OLLAMA_ENDPOINT, json=payload, stream=stream_output)
        response.raise_for_status()

        if stream_output:
            for line in response.iter_lines():
                if line:
                    decoded_line = line.decode('utf-8')
                    json_object = json.loads(decoded_line)
                    chunk = json_object.get('response', '')
                    print(chunk, end='', flush=True)
                    full_response_text += chunk
                    if json_object.get('done'):
                        print("\\\\n--- Stream Complete ---")
                        break
        else:
            response_data = response.json()
            full_response_text = response_data.get('response', '')
            print(full_response_text)

        return full_response_text

    except requests.exceptions.RequestException as e:
        print(f"\\\\nError connecting to Ollama API: {e}")
        if "connection refused" in str(e).lower():
            print("Ensure the Ollama application or service is running.")
        return None
    except json.JSONDecodeError as e:
        print(f"\\\\nError decoding JSON response: {e}")
        print(f"Problematic content: {response.text if 'response' in locals() else 'No response object'}")
        return None

if __name__ == "__main__":
    # Ensure Ollama is running and the model is loaded or available.
    # Ollama typically loads the model on the first API request if not already loaded.

    prompt1 = "Write a Python function to serialize a dictionary to a JSON string."
    print(f"--- Sending Prompt 1: {prompt1} ---")
    response1 = generate_response(prompt1)
    if response1:
        print("\\\\n--- Model Response 1 Received ---")

    print("\\\\n" + "="*50 + "\\\\n") # Separator

    prompt2 = "Explain how a LEFT JOIN in SQL differs from an INNER JOIN, in simple terms."
    print(f"--- Sending Prompt 2 (Streaming): {prompt2} ---")
    response2 = generate_response(prompt2, stream_output=True)
    if response2:
        # The full response is already printed by the streaming logic
        pass
    else:
        print("\\\\nFailed to get response for prompt 2.")

이 스크립트는 osmosis/osmosis-structure-0.6b 모델에 프롬프트를 보내는 함수를 정의합니다. 스트리밍 및 비스트리밍 응답을 모두 처리할 수 있습니다. 이 스크립트가 작동하려면 Ollama 서비스가 실행 중이어야 합니다.

단계 4. 몇 가지 프롬프트 시도하기

osmosis/osmosis-structure-0.6b의 구체적인 강점은 Ollama 웹사이트의 모델 카드를 검토하여 가장 잘 이해할 수 있습니다. 그러나 '구조(Structure)'에 초점을 맞춘 0.6B 모델의 경우 다음과 같은 프롬프트를 시도해 볼 수 있습니다.

텍스트-투-SQL:

JSON 조작/생성:

간단한 코드 생성 (예: Python):

형식화된 출력에 대한 지시 따르기:

실험이 중요합니다! 구조화된 데이터와 관련된 다양한 유형의 프롬프트를 시도하여 모델의 강점과 약점을 파악하십시오. 모델의 주요 설계 기능에 대한 지침은 Ollama 모델 카드를 참조하십시오.

Apidog로 Ollama 로컬 API 테스트하기

Apidog는 Ollama의 API 모드와 잘 어울리는 API 테스트 도구입니다. 요청을 보내고, 응답을 확인하고, Qwen 3 설정을 효율적으로 디버깅할 수 있습니다.

Apidog를 Ollama와 함께 사용하는 방법은 다음과 같습니다.

스트리밍 응답:

curl http://localhost:11434/api/generate -d '{"model": "gemma3:4b-it-qat", "prompt": "Write a poem about AI.", "stream": true}'

이 과정을 통해 모델이 예상대로 작동하는지 확인할 수 있으며, Apidog는 귀중한 추가 도구가 됩니다.

💡
아름다운 API 문서를 생성하는 훌륭한 API 테스트 도구를 원하시나요?

개발 팀이 최고의 생산성으로 함께 작업할 수 있는 통합 올인원 플랫폼을 원하시나요?

Apidog는 여러분의 모든 요구 사항을 충족하며, 훨씬 더 저렴한 가격으로 Postman을 대체합니다!
button

결론

osmosis/osmosis-structure-0.6b 모델은 컴팩트하고 구조에 초점을 맞춘 언어 모델을 로컬에서 실행할 수 있는 흥미로운 기회를 제공합니다. Ollama 덕분에 모델을 다운로드하고 상호 작용하는 과정이 많은 사용자에게 접근 가능합니다. 이 모델의 기능을 활용하면 데이터 처리, 코드 지원 및 구조화된 출력이 필요한 기타 영역에서 애플리케이션을 탐색할 수 있으며, 이 모든 것이 로컬 실행의 개인 정보 보호 및 제어 하에 이루어집니다.

개발자의 가장 신뢰할 수 있는 정보는 항상 Ollama의 공식 모델 페이지(ollama.com/osmosis/osmosis-structure-0.6b:latest)를 참조하십시오. 로컬 AI 실험을 즐기세요!

Apidog에서 API 설계-첫 번째 연습

API를 더 쉽게 구축하고 사용하는 방법을 발견하세요

무료 회원가입다운로드