로라를 사용하여 미스트랄 스몰 3.1을 로컬에서 실행하는 방법: 단계별 가이드

고급 AI 모델을 로컬에서 실행하는 것은 개발자와 기술 애호가들에게 비할 데 없는 제어, 개인 정보 보호 및 맞춤화 옵션을 제공합니다. 최신 인공지능의 힘을 자신의 기계에서 활용하고 싶다면, Mistral Small 3.1과 Ollama를 결합한 것이 훌륭한 솔루션입니다. Mistral Small 3.1는 Mistral AI에서 개발한 최첨단 언어 모델로, 240억 개의 파라미터와 동급에서 최고의 성능을 자랑합니다. 한편, Ollama는 이러한 대형 언어 모델(LLM)을 로컬에서 배포하는 과정을 단순화하여, 기술적 설정이 미비한 사람도 접근 가능하게 만들어 줍니다. 이 종합 가이드에서는 Ollama를 사용하여 Mistral Small 3.1을 시스템에서 실행하는 모든 단계를 안내합니다. 또한, API 개발 및 테스트를 위한 강력한 도구인 Apidog를 통합하여 경험을 향상시키는 방법도 보여드립니다.

로컬에서 실행하는 이유는 무엇일까요? Mistral Small 3.1을 자신의 기계에서 실행함으로써 데이터의 개인 정보를 보호하고, 클라우드 비용을 피하며, 챗봇 구축, 코드 생성 또는 다국어 텍스트 처리와 같은 필요에 맞춰 모델을 조정할 수 있는 유연성을 얻습니다.

💡

로컬 모델과 상호작용을 더욱 원활하게 만들기 위해, Apidog를 사용하는 것을 추천합니다. 이 무료 API 도구를 사용하면 모델의 엔드포인트를 쉽게 테스트하고 디버그할 수 있습니다. 오늘 무료로 Apidog를 다운로드하고 Mistral Small 3.1의 기능을 탐색하면서 작업 흐름을 간소화하세요!

button

왜 Mistral Small 3.1과 Ollama를 선택해야 할까요?

설치 과정에 들어가기 전에, Mistral Small 3.1과 Ollama가 왜 이렇게 매력적인 조합인지 살펴보겠습니다. Mistral Small 3.1는 오픈 소스 Apache 2.0 라이센스 하에 출시되었으며, 크기에 비해 뛰어난 성능을 제공합니다. 128k 토큰의 컨텍스트 윈도우를 갖추고 있어 긴 대화나 문서를 쉽게 처리할 수 있습니다. 또한, 여러 언어와 멀티모달 입력을 지원하여 텍스트 생성, 번역 또는 이미지 캡션 분석과 같은 작업에 다재다능합니다. 개발자들은 상대적으로 낮은 하드웨어에서도 대형 모델에 필적하는 효율성을 높이 평가합니다.

Ollama는 로컬에서 LLM을 실행하기 위해 설계된 경량 도구입니다. 종속성 관리나 GPU 구성과 같은 복잡함을 추상화하여, 설정 장애물에 씨름하는 대신 모델을 사용하는 데 집중할 수 있습니다. Mistral Small 3.1과 Ollama는 클라우드 서비스 의존 없이 고성능 AI 모델을 배포할 수 있도록 합니다.

Ollama를 귀하의 기계에 설치하기

Ollama는 LLM을 로컬에서 실행하는 과정을 단순화하며, 설치는 간단합니다. 다음 단계를 따라 실행하세요:

Ollama 설치: Ollama의 공식 웹사이트에서 다운로드하고 안내에 따라 설치하세요.

설치 확인: Ollama가 올바르게 설치되었는지 버전을 확인하여 확인합니다:

ollama --version

버전 번호(0.1.x과 같은)를 확인할 수 있어야 합니다. 그렇지 않다면, 경로에 Ollama의 바이너리가 포함된 것을 확인하여 문제를 해결하세요.

Ollama 설치 후, Mistral Small 3.1을 실행하는 데 한 걸음 더 다가갔습니다. 다음으로 모델 자체를 다운받아야 합니다.

Mistral Small 3.1 모델 가중치 다운로드

터미널을 열고 다음을 입력합니다:

ollama pull cnjack/mistral-samll-3.1

이 명령은 모델 가중치를 로컬 저장소에 다운로드합니다(커뮤니티 버전의 mistral small 3.1). 링크: https://ollama.com/cnjack/mistral-samll-3.1

인터넷 속도에 따라, 50GB 이상의 파일 크기로 인해 다운로드에 15-30분이 소요될 수 있습니다.

다운로드 확인: ollama list를 다시 실행합니다. 여기에 mistral-small-3.1이 나열되어 있어야 사용 준비가 완료된 것입니다.

모델을 다운로드했으니, 이제 Ollama에 로드하여 기능을 탐색해 보겠습니다.

Ollama에 Mistral Small 3.1 로드하기

모델을 로드하는 것은 추론을 위해 준비하는 과정입니다. Ollama가 대부분의 무거운 작업을 처리하므로, 이 단계는 빠릅니다:

모델 로드: Mistral Small 3.1을 메모리에 로드하려면 다음 명령을 실행하세요:

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S

처음 이 명령을 실행하면 Ollama가 모델을 초기화하며, 이는 하드웨어에 따라 몇 분이 걸릴 수 있습니다. 이후 실행은 더 빨라집니다.

테스트하기: 로드가 완료되면, Ollama는 인터랙티브 프롬프트로 전환됩니다. 간단한 쿼리를 입력해 보세요:

안녕하세요, Mistral Small 3.1은 어떻게 작동하나요?

모델은 터미널에 직접 응답을 표시하여 텍스트 생성 능력을 보여줍니다.

이제 Mistral Small 3.1이 작동 중입니다. 그러나 프로그래밍 액세스를 위해 전체 잠재력을 활용하려면, 더 많은 상호작용 방법을探索해보겠습니다.

Mistral Small 3.1과 로컬에서 상호작용하기

Mistral Small 3.1은 두 가지 주요 방법으로 사용할 수 있습니다: 직접 명령줄 추론 또는 API 서버를 통한 상호작용. 두 방법 모두 Ollama의 유연성을 활용하며, API 접근 방법에는 Apidog를 통합할 것입니다.

방법 1: 명령줄을 통한 직접 추론

빠른 테스트 또는 단일 생성 작업의 경우, Ollama의 run 명령과 프롬프트를 사용하세요:

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S "AI에 대한 짧은 시를 써 주세요."

모델은 입력을 처리하고 다음과 같은 응답을 출력합니다:

회로 깊은 곳의 인공 정신들,
우리가 잠든 동안 패턴을 배우고,
코드의 목소리, 부드럽게 이야기하네,
밝은 미래, 그들의 생각을 간직하리.

이 방법은 실험에 적합하지만 확장성이 떨어집니다. 더 강력한 애플리케이션을 위해 API 서버를 설정하세요.

방법 2: Mistral Small 3.1을 API 서버로 실행하기

Mistral Small 3.1을 프로젝트에 통합하거나 체계적으로 테스트하려면 로컬 API 서버로 실행합니다:

서버 시작: Ollama를 서버 모드로 실행하세요:

ollama serve

이 명령으로 http://localhost:11434에서 REST API가 시작됩니다(Ollama의 기본 포트). 이 터미널에서 계속 실행하세요.

API 테스트: 새 터미널에서 curl을 사용하여 요청을 보내세요:

curl http://localhost:11434/api/generate -d '{"model": "mistral-small-3.1", "prompt": "AI를 한 문장으로 설명하세요."}'

응답은 다음과 같을 것입니다:

{
  "response": "AI는 인간 지능을 시뮬레이션하는 기계로, 스스로 학습하고, 추론하며, 작업을 수행할 수 있게 합니다."
}

이 API 설정은 고급 상호작용을 가능하게 하며, Apidog가 이 역할을 잘 수행합니다.

Apidog를 사용하여 Mistral Small 3.1의 API와 상호작용하기

Apidog는 API 테스트 및 개발을 간소화하여 로컬 Mistral Small 3.1 서버를 쿼리하는 데 적합합니다. 설정 방법은 다음과 같습니다:

Apidog 설치:

Apidog의 웹사이트로 가서 OS에 맞는 무료 데스크탑 앱을 다운로드하세요.
화면에 나타나는 안내에 따라 설치합니다.

button

새 프로젝트 만들기:

Apidog를 열고 "새 프로젝트"를 클릭하세요.
"Mistral Small 3.1 로컬 API"와 같이 이름을 정하세요.

API 요청 추가:

"새 요청"을 클릭하고 메서드를 POST로 설정하세요.
엔드포인트를 입력하세요: http://localhost:11434/api/generate.

요청 본문 구성:

"본문" 탭으로 전환하여 "JSON"을 선택하고 다음을 입력하세요:

{
  "model": "mistral-small-3.1",
  "prompt": "안녕하세요, AI!를 출력하는 파이썬 스크립트를 생성해 주세요.",
  "stream": false
}

전송하고 검토하기:

"전송" 버튼을 클릭하세요. Apidog가 응답을 표시하며, 다음과 같이 나타납니다:

{
  "response": "print('Hello, AI!')"
}

Apidog의 도구를 사용하여 매개변수를 조정하거나 요청을 저장하거나 오류를 디버깅하세요.

Apidog의 직관적인 인터페이스를 통해 프롬프트를 실험하고 응답 시간을 모니터링하며, Mistral Small 3.1을 기반으로 개발하는 개발자에게 적합한 테스트를 자동화할 수 있습니다.

일반 문제 해결

24B 파라미터 모델을 로컬에서 실행할 때 문제가 발생할 수 있습니다. 다음은 자주 발생하는 문제에 대한 해결책입니다:

메모리 부족 오류:
해결책: 32GB 이상의 RAM과 충분한 VRAM이 있는 GPU(예: RTX 4090에서 24GB)를 확보하세요. 필요한 경우 배치 크기나 컨텍스트 길이를 줄이세요.
모델을 찾을 수 없음:
해결책: 다운로드가 완료되었는지(ollama list) 확인하고 모델 이름이 정확하게 일치하는지 검토하세요.
API 서버 시작 실패:
해결책: 11434 포트가 사용 중인지 확인하세요(netstat -tuln | grep 11434) 및 포트를 해제하거나 Ollama의 포트를 구성에서 변경하세요.
느린 성능:
해결책: GPU를 업그레이드하거나 덜 중요한 작업을 CPU에 오프로드하세요.

이 팁을 통해 대부분의 문제를 해결하고 Mistral Small 3.1을 원활하게 실행할 수 있습니다.

설정 최적화 및 확장

이제 Mistral Small 3.1이 로컬에서 실행되므로, 개선 방안을 고려하세요:

미세 조정: 특정 도메인에 맞는 데이터 세트를 사용하여 모델의 출력을 조정하세요(예: 법률 문서, 코드).
확장: Ollama의 여러 인스턴스를 실행하여 다양한 모델이나 작업을 처리하세요.
통합: Apidog를 사용하여 API를 웹 앱, 봇 또는 워크플로우에 연결하여 엔드포인트를 프로토타입하세요.

이런 단계들은 Mistral Small 3.1의 잠재력을 최대한 발휘하여 고유한 프로젝트에 맞게 조정할 수 있습니다.

결론

Ollama를 사용하여 Mistral Small 3.1을 로컬에서 실행하는 것은 개발자와 AI 애호가에게 혁신적인 변화입니다. 이 가이드는 필수 전제 조건을 모으는 것부터 Ollama 설치, 모델 다운로드 및 명령줄 또는 API를 통한 상호작용에 이르기까지의 과정을 안내했습니다. Apidog을 추가해 API 테스트를 간소화하고 통합의 새로운 가능성을 열어보세요. 240억 개의 파라미터, 128k 토큰 컨텍스트 및 오픈 소스의 유연성을 갖춘 Mistral Small 3.1은 손끝에서 막대한 힘을 제공합니다. 오늘부터 실험을 시작하여 이 두 조합이 귀하의 프로젝트를 어떻게 변화시킬 수 있는지 확인하세요.

button