Ollama Kullanarak Mistral Small 3.1'i Yerel Olarak Çalıştırma: Adım Adım Kılavuz

Gelişmiş yapay zeka modellerini yerel olarak çalıştırmak, geliştiricilere ve teknoloji meraklılarına benzersiz kontrol, gizlilik ve özelleştirme seçenekleri sunar. Kendi makinenizde son teknoloji yapay zekanın gücünden yararlanmak istiyorsanız, Mistral Small 3.1, Ollama ile birlikte mükemmel bir çözüm sunar. Mistral Small 3.1, Mistral AI tarafından geliştirilen, 24 milyar parametreye sahip ve kendi ağırlık sınıfında en üst düzey performansa sahip, son teknoloji bir dil modelidir. Bu arada, Ollama, bu tür büyük dil modellerini (LLM'ler) yerel olarak dağıtma sürecini basitleştirerek, mütevazı teknik kurulumlara sahip olanlar için bile erişilebilir hale getirir. Bu kapsamlı kılavuzda, Mistral Small 3.1'i Ollama kullanarak sisteminizde çalıştırmak için her adımı size göstereceğiz. Ayrıca, API geliştirme ve test etme için güçlü bir araç olan Apidog'u entegre ederek deneyiminizi nasıl geliştireceğinizi de göstereceğiz.

Neden yerel çalıştıralım? Mistral Small 3.1'i makinenizde çalıştırarak, verilerinizi gizli tutar, bulut maliyetlerinden kaçınır ve bir sohbet robotu oluşturmak, kod üretmek veya çok dilli metin işlemek gibi ihtiyaçlarınız için modeli ayarlama esnekliği kazanırsınız.

💡

Yerel modelinizle etkileşimi daha da sorunsuz hale getirmek için Apidog kullanmanızı öneririz. Bu ücretsiz API aracı, modelinizin uç noktalarını zahmetsizce test etmenizi ve hata ayıklamanızı sağlar. Bugün ücretsiz Apidog'u indirin ve Mistral Small 3.1'in yeteneklerini keşfederken iş akışınızı kolaylaştırın!

button

Neden Mistral Small 3.1 ve Ollama'yı Seçmelisiniz?

Kuruluma geçmeden önce, Mistral Small 3.1 ve Ollama'nın neden bu kadar cazip bir ikili oluşturduğunu inceleyelim. Mistral Small 3.1, açık kaynaklı Apache 2.0 lisansı altında yayınlanmış olup, boyutu için olağanüstü bir performans sunar. 128k-token bağlam penceresi ile uzun konuşmaları veya belgeleri kolaylıkla işler. Ayrıca çoklu dilleri ve çok modlu girdileri destekleyerek, metin oluşturma, çeviri ve hatta görüntü açıklaması analizi gibi görevler için çok yönlü hale getirir. Geliştiriciler, nispeten mütevazı donanımlarda çalışırken daha büyük modellerle rekabet etmesi nedeniyle verimliliğini severler.

Ollama ise, LLM'leri yerel olarak çalıştırmak için tasarlanmış hafif bir araçtır. Bağımlılık yönetimi veya GPU yapılandırması gibi karmaşıklığın çoğunu soyutlar, böylece kurulum engelleriyle uğraşmak yerine modeli kullanmaya odaklanabilirsiniz. Birlikte, Mistral Small 3.1 ve Ollama, bulut hizmetlerine güvenmeden yüksek performanslı bir yapay zeka modeli dağıtmanızı sağlar.

Makinenize Ollama'yı Yükleme

Ollama, LLM'leri yerel olarak çalıştırmayı basitleştirir ve yüklemesi basittir. Çalışır duruma getirmek için şu adımları izleyin:

Ollama'yı Yükleyin: Ollama'nın resmi web sitesinden indirin ve istemleri izleyin.

Yüklemeyi Doğrulayın: Ollama'nın sürümünü kontrol ederek doğru yüklendiğini doğrulayın:

ollama --version

Bir sürüm numarası (örneğin, 0.1.x) görmelisiniz. Değilse, PATH'nizin Ollama'nın ikili dosyasını içerdiğinden emin olarak sorun giderin.

Ollama'yı yükledikten sonra, Mistral Small 3.1'i çalıştırmaya bir adım daha yakınsınız. Ardından, modelin kendisini getirmeniz gerekir.

Mistral Small 3.1 Model Ağırlıklarını İndirme

Terminalinizi açın ve şunu yazın:

ollama pull cnjack/mistral-samll-3.1

Bu, model ağırlıklarını yerel depolama alanınıza indirir (mistral small 3.1'in bir topluluk sürümü). Bağlantı: https://ollama.com/cnjack/mistral-samll-3.1

İnternet hızınıza bağlı olarak, bu 50GB+ dosya boyutu nedeniyle 15-30 dakika sürebilir.

İndirmeyi Doğrulayın: Tekrar ollama list çalıştırın. mistral-small-3.1 listelendiğini görmelisiniz, bu da kullanıma hazır olduğunu gösterir.

Artık modele sahip olduğunuza göre, onu Ollama'ya yükleyelim ve yeteneklerini keşfetmeye başlayalım.

Mistral Small 3.1'i Ollama'ya Yükleme

Modeli yüklemek, onu çıkarıma hazırlar. Ollama ağır işi halleder, bu nedenle bu adım hızlıdır:

Modeli Yükleyin: Mistral Small 3.1'i belleğe yüklemek için bu komutu yürütün:

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S

Bunu ilk çalıştırdığınızda, Ollama modeli başlatır, bu da donanımınıza bağlı olarak birkaç dakika sürebilir. Sonraki çalıştırmalar daha hızlıdır.

Deneyin: Yüklendikten sonra, Ollama sizi etkileşimli bir isteme bırakır. Basit bir sorgu yazın:

Merhaba, Mistral Small 3.1 nasıl çalışır?

Model doğrudan terminalde yanıt verir ve metin oluşturma becerisini sergiler.

Bu noktada, Mistral Small 3.1 çalışır durumdadır. Ancak, özellikle programatik erişim için tüm potansiyelini ortaya çıkarmak için, onunla daha fazla nasıl etkileşim kuracağımızı inceleyelim.

Mistral Small 3.1 ile Yerel Olarak Etkileşim Kurma

Mistral Small 3.1 ile iki ana yolla etkileşim kurabilirsiniz: doğrudan komut satırı çıkarımı veya bir API sunucusu aracılığıyla. Her iki yöntem de Ollama'nın esnekliğinden yararlanır ve API yaklaşımı için Apidog'u bağlayacağız.

Yöntem 1: Komut Satırı Aracılığıyla Doğrudan Çıkarım

Hızlı testler veya tek seferlik oluşturmalar için, Ollama'nın run komutunu bir istemle kullanın:

ollama run cnjack/mistral-samll-3.1:24b-it-q4_K_S "Yapay zeka hakkında kısa bir şiir yazın."

Model girdiyi işler ve aşağıdaki gibi bir çıktı verir:

Derin devrelerde yapay zekalar,
Uykudayken desenler öğrenirler,
Kodun sesleri, usulca konuşurlar,
Parlak bir gelecek, düşüncelerini koruruz.

Bu yöntem denemeler için uygundur ancak ölçeklenebilirlikten yoksundur. Daha sağlam uygulamalar için bir API sunucusu kurun.

Yöntem 2: Mistral Small 3.1'i Bir API Sunucusu Olarak Çalıştırma

Mistral Small 3.1'i projelere entegre etmek veya sistematik olarak test etmek için, onu yerel bir API sunucusu olarak çalıştırın:

Sunucuyu Başlatın: Ollama'yı sunucu modunda başlatın:

ollama serve

Bu, http://localhost:11434 adresinde bir REST API başlatır (Ollama'nın varsayılan bağlantı noktası). Bunu bir terminalde çalışır durumda tutun.

API'yi Test Edin: Yeni bir terminalde, bir istek göndermek için curl kullanın:

curl http://localhost:11434/api/generate -d '{"model": "mistral-small-3.1", "prompt": "Yapay zekayı bir cümleyle açıklayın."}'

Yanıt şöyle görünebilir:

{
  "response": "Yapay zeka, makinelerin insan zekasını simüle etmesi, onların öğrenmesini, akıl yürütmesini ve özerk olarak görevleri yerine getirmesini sağlar."
}

Bu API kurulumu, Apidog'un parladığı gelişmiş etkileşimlerin kapısını açar.

Mistral Small 3.1'in API'siyle Etkileşim Kurmak için Apidog'u Kullanma

Apidog, API testini ve geliştirmeyi basitleştirerek, yerel Mistral Small 3.1 sunucunuzu sorgulamak için mükemmel hale getirir. İşte nasıl kurulacağı:

Apidog'u Yükleyin:

Apidog'un web sitesine gidin ve işletim sisteminiz için ücretsiz masaüstü uygulamasını indirin.
Ekrandaki talimatları izleyerek yükleyin.

button

Yeni Bir Proje Oluşturun:

Apidog'u açın ve "Yeni Proje"ye tıklayın.
"Mistral Small 3.1 Yerel API" gibi bir ad verin.

Bir API İsteği Ekleyin:

"Yeni İstek"e tıklayın ve yöntemi POST olarak ayarlayın.
Uç noktayı girin: http://localhost:11434/api/generate.

İstek Gövdesini Yapılandırın:

"Gövde" sekmesine geçin, "JSON"u seçin ve şunu girin:

{
  "model": "mistral-small-3.1",
  "prompt": " 'Merhaba, Yapay Zeka!' yazdıran bir Python betiği oluşturun",
  "stream": false
}

Gönder ve İncele:

"Gönder"e basın. Apidog yanıtı görüntüler, örneğin:

{
  "response": "print('Merhaba, Yapay Zeka!')"
}

Parametreleri ayarlamak, istekleri kaydetmek veya hataları ayıklamak için Apidog'un araçlarını kullanın.

Apidog'un sezgisel arayüzü, istemlerle denemeler yapmanıza, yanıt sürelerini izlemenize ve hatta Mistral Small 3.1 üzerinde çalışan geliştiriciler için ideal olan testleri otomatikleştirmenize olanak tanır.

Yaygın Sorunları Giderme

24B parametreli bir modeli yerel olarak çalıştırmak takılabilir. İşte sık karşılaşılan sorunlara çözümler:

Bellek Hatası Bitti:
Düzeltme: 32GB+ RAM ve yeterli VRAM'e sahip bir GPU'nuz olduğundan emin olun (örneğin, RTX 4090'da 24GB). Gerekirse toplu iş boyutunu veya bağlam uzunluğunu azaltın.
Model Bulunamadı:
Düzeltme: İndirmenin tamamlandığını (ollama list) ve model adının tam olarak eşleştiğini doğrulayın.
API Sunucusu Başlatılamıyor:
Düzeltme: 11434 numaralı bağlantı noktasının kullanılıp kullanılmadığını kontrol edin (netstat -tuln | grep 11434) ve boşaltın veya Ollama'nın bağlantı noktasını yapılandırma yoluyla değiştirin.
Yavaş Performans:
Düzeltme: GPU'nuzu yükseltin veya daha az kritik görevleri CPU'ya boşaltın.

Bu ipuçlarıyla, çoğu sorunu çözebilir ve Mistral Small 3.1'i çalışır durumda tutabilirsiniz.

Kurulumunuzu Optimize Etme ve Genişletme

Artık Mistral Small 3.1 yerel olarak çalıştığına göre, onu geliştirmeyi düşünün:

İnce Ayar: Modelin çıktılarını uyarlamak için alanınıza özgü veri kümelerini (örneğin, yasal metinler, kod) kullanın.
Ölçeklendirme: Farklı modeller veya görevler için birden fazla Ollama örneği çalıştırın.
Entegrasyon: Uç noktaları prototiplemek için API'yi web uygulamalarına, botlara veya iş akışlarına bağlamak için Apidog'u kullanın.

Bu adımlar, Mistral Small 3.1'in tüm potansiyelini ortaya çıkararak, onu benzersiz projelerinize uyarlar.

Sonuç

Ollama kullanarak Mistral Small 3.1'i yerel olarak çalıştırmak, geliştiriciler ve yapay zeka meraklıları için oyunun kurallarını değiştirir. Bu kılavuz, önkoşulları toplama, Ollama'yı yükleme, modeli indirme ve komut satırı veya API aracılığıyla etkileşim kurma sürecinde size rehberlik etti. Apidog'u karışıma ekleyerek, API testini kolaylaştırır ve entegrasyon için yeni olanaklar açarsınız. 24 milyar parametresi, 128k-token bağlamı ve açık kaynak esnekliği ile Mistral Small 3.1, parmaklarınızın ucunda muazzam bir güç sunar. Bugün denemeler yapmaya başlayın ve bu ikilinin projelerinizi nasıl dönüştürebileceğini görün.

button