Blog

Ollama ile Ücretsiz GPT-OSS Nasıl Çalıştırılır?

Ashley Innocent

Ashley Innocent

5 August 2025

Ollama ile Ücretsiz GPT-OSS Nasıl Çalıştırılır?

Büyük dil modellerini (BDM'ler) yerel olarak çalıştırmak, geliştiricilere gizlilik, kontrol ve maliyet tasarrufu sağlar. OpenAI'ın açık ağırlıklı modelleri, topluca GPT-OSS (gpt-oss-120b ve gpt-oss-20b) olarak bilinir, kodlama, ajans iş akışları ve veri analizi gibi görevler için güçlü muhakeme yetenekleri sunar. Açık kaynaklı bir platform olan Ollama ile bu modelleri bulut bağımlılıkları olmadan kendi donanımınıza dağıtabilirsiniz. Bu teknik kılavuz, Ollama'yı kurma, GPT-OSS modellerini yapılandırma ve yerel BDM'ler için API testini basitleştiren bir araç olan Apidog ile hata ayıklama konularında size yol gösterecektir.

💡
Sorunsuz API hata ayıklaması için, GPT-OSS etkileşimlerinizi görselleştirmek ve optimize etmek üzere Apidog'u ücretsiz indirin.
düğme

GPT-OSS'i Ollama ile Neden Yerel Olarak Çalıştırmalıyız?

GPT-OSS'i Ollama kullanarak yerel olarak çalıştırmak, geliştiriciler ve araştırmacılar için belirgin avantajlar sunar. İlk olarak, girdileriniz ve çıktılarınız makinenizde kaldığı için veri gizliliğini sağlar. İkinci olarak, yinelenen bulut API maliyetlerini ortadan kaldırır, bu da onu yüksek hacimli veya deneysel kullanım durumları için ideal kılar. Üçüncü olarak, Ollama'nın OpenAI'ın API yapısıyla uyumluluğu, mevcut araçlarla sorunsuz entegrasyon sağlarken, gpt-oss-20b gibi nicelenmiş modeller için desteği (yalnızca 16 GB bellek gerektiren) mütevazı donanımlarda erişilebilirliği garanti eder.

Dahası, Ollama BDM dağıtımının karmaşıklıklarını basitleştirir. Model ağırlıklarını, bağımlılıkları ve yapılandırmaları, yapay zeka için bir Docker kapsayıcısına benzer şekilde tek bir Modelfile aracılığıyla yönetir. Akış halindeki yapay zeka yanıtlarının gerçek zamanlı görselleştirmesini sunan Apidog ile eşleştirildiğinde, yerel yapay zeka geliştirme için sağlam bir ekosistem elde edersiniz. Şimdi, bu ortamı kurmak için ön koşulları inceleyelim.

GPT-OSS'i Yerel Olarak Çalıştırmak İçin Ön Koşullar

Devam etmeden önce, sisteminizin aşağıdaki gereksinimleri karşıladığından emin olun:

Bunlar sağlandığında, Ollama'yı kurmaya ve GPT-OSS'i dağıtmaya hazırsınız demektir. Kurulum sürecine geçelim.

Adım 1: Ollama'yı Sisteminize Kurma

Ollama'nın kurulumu basittir ve macOS, Linux ve Windows'u destekler. Kurulum için şu adımları izleyin:

Ollama'yı İndirin:

curl -fsSL https://ollama.com/install.sh | sh

Bu betik, indirme ve kurulum sürecini otomatikleştirir.

Kurulumu Doğrulayın:

Ollama Sunucusunu Başlatın:

Kurulduktan sonra, Ollama **GPT-OSS** modellerini indirmeye ve çalıştırmaya hazırdır. Modelleri indirmeye geçelim.

Adım 2: GPT-OSS Modellerini İndirme

OpenAI'ın GPT-OSS modelleri (gpt-oss-120b ve gpt-oss-20b), Hugging Face'te mevcuttur ve bellek gereksinimlerini azaltan MXFP4 nicelemesi ile Ollama için optimize edilmiştir. Bunları indirmek için şu adımları izleyin:

Modeli Seçin:

Ollama Aracılığıyla İndirme:

ollama pull gpt-oss-20b

veya

ollama pull gpt-oss-120b

Donanımınıza bağlı olarak, indirme (20-50 GB) zaman alabilir. Kararlı bir internet bağlantısı olduğundan emin olun.

İndirmeyi Doğrulayın:

ollama list

gpt-oss-20b:latest veya gpt-oss-120b:latest ifadesini arayın.

Model indirildikten sonra, artık onu yerel olarak çalıştırabilirsiniz. **GPT-OSS** ile nasıl etkileşim kuracağımızı inceleyelim.

Adım 3: GPT-OSS Modellerini Ollama ile Çalıştırma

Ollama, GPT-OSS modelleriyle etkileşim kurmak için birden fazla yol sunar: komut satırı arayüzü (CLI), API veya Open WebUI gibi grafik arayüzler. Basitlik adına CLI ile başlayalım.

Etkileşimli Bir Oturum Başlatın:

ollama run gpt-oss-20b

Bu, gerçek zamanlı bir sohbet oturumu açar. Sorgunuzu yazın (örn. "İkili arama için bir Python fonksiyonu yazın") ve Enter tuşuna basın. Özel komutlar için /help kullanın.

Tek Seferlik Sorgular:

ollama run gpt-oss-20b "Explain quantum computing in simple terms"

Parametreleri Ayarlayın:

ollama run gpt-oss-20b --temperature 0.1 --top-p 1.0 "Write a factual summary of blockchain technology"

Düşük sıcaklık (örn. 0.1), teknik görevler için ideal olan deterministik, olgusal çıktılar sağlar.

Şimdi, belirli kullanım durumları için Modelfile'ları kullanarak modelin davranışını özelleştirelim.

Adım 4: Ollama Modelfile'ları ile GPT-OSS'i Özelleştirme

Ollama'nın Modelfile'ları, GPT-OSS davranışını yeniden eğitmeden özelleştirmenize olanak tanır. Sistem istemlerini ayarlayabilir, bağlam boyutunu değiştirebilir veya parametreleri ince ayar yapabilirsiniz. İşte özel bir model oluşturma:

Bir Modelfile Oluşturun:

FROM gpt-oss-20b
SYSTEM "You are a technical assistant specializing in Python programming. Provide concise, accurate code with comments."
PARAMETER temperature 0.5
PARAMETER num_ctx 4096

Bu, modeli orta düzeyde yaratıcılığa ve 4k token bağlam penceresine sahip Python odaklı bir asistan olarak yapılandırır.

Özel Modeli Oluşturun:

ollama create python-gpt-oss -f Modelfile

Özel Modeli Çalıştırın:

ollama run python-gpt-oss

Artık model, belirtilen davranışla Python ile ilgili yanıtlara öncelik verir.

Bu özelleştirme, kodlama veya teknik dokümantasyon gibi belirli alanlar için GPT-OSS'i geliştirir. Şimdi, Ollama'nın API'sini kullanarak modeli uygulamalara entegre edelim.

Adım 5: GPT-OSS'i Ollama'nın API'si ile Entegre Etme

http://localhost:11434 adresinde çalışan Ollama'nın API'si, GPT-OSS'e programlı erişim sağlar. Bu, yapay zeka destekli uygulamalar geliştiren geliştiriciler için idealdir. İşte nasıl kullanılacağı:

API Uç Noktaları:

curl http://localhost:11434/api/generate -H "Content-Type: application/json" -d '{"model": "gpt-oss-20b", "prompt": "Write a Python script for a REST API"}'

curl http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "gpt-oss-20b", "messages": [{"role": "user", "content": "Explain neural networks"}]}'

OpenAI Uyumluluğu:

from openai import OpenAI
client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")
response = client.chat.completions.create(
    model="gpt-oss-20b",
    messages=[{"role": "user", "content": "What is machine learning?"}]
)
print(response.choices[0].message.content)

Bu API entegrasyonu, GPT-OSS'in sohbet robotlarını, kod oluşturucuları veya veri analiz araçlarını desteklemesini sağlar. Ancak, akış halindeki yanıtların hata ayıklaması zor olabilir. **Apidog**'un bunu nasıl basitleştirdiğini görelim.

Adım 6: GPT-OSS'te Apidog ile Hata Ayıklama

Apidog, Ollama'nın uç noktalarından gelen akış halindeki yanıtları görselleştiren güçlü bir API test aracıdır, bu da GPT-OSS çıktılarında hata ayıklamayı kolaylaştırır. İşte nasıl kullanılacağı:

Apidog'u Kurun:

Ollama API'sini Apidog'da Yapılandırın:

{
  "model": "gpt-oss-20b",
  "prompt": "Generate a Python function for sorting",
  "stream": true
}

Yanıtları Görselleştirin:

Karşılaştırmalı Test:

Apidog'un görselleştirmesi, hata ayıklamayı sıkıcı bir görevden açık, eyleme geçirilebilir bir sürece dönüştürerek geliştirme iş akışınızı geliştirir. Şimdi, karşılaşabileceğiniz yaygın sorunları ele alalım.

Adım 7: Yaygın Sorunları Giderme

GPT-OSS'i yerel olarak çalıştırmak zorluklar sunabilir. İşte sık karşılaşılan sorunlara çözümler:

GPU Bellek Hatası:

Model Başlamıyor:

API Yanıt Vermiyor:

Yavaş Performans:

Kalıcı sorunlar için, **GPT-OSS** desteği için Ollama GitHub veya Hugging Face topluluğuna danışın.

Adım 8: Open WebUI ile GPT-OSS'i Geliştirme

Kullanıcı dostu bir arayüz için Ollama'yı, GPT-OSS için tarayıcı tabanlı bir kontrol paneli olan Open WebUI ile eşleştirin:

Open WebUI'yi Kurun:

docker run -d -p 3000:8080 --name open-webui ghcr.io/open-webui/open-webui:main

Arayüze Erişin:

Belge Yüklemeleri:

Open WebUI, teknik olmayan kullanıcılar için etkileşimi basitleştirir ve **Apidog**'un teknik hata ayıklama yeteneklerini tamamlar.

Sonuç: Ollama ve Apidog ile GPT-OSS'in Potansiyelini Ortaya Çıkarma

GPT-OSS'i Ollama ile yerel olarak çalıştırmak, OpenAI'ın açık ağırlıklı modellerini ücretsiz olarak, gizlilik ve özelleştirme üzerinde tam kontrolle kullanmanızı sağlar. Bu kılavuzu takip ederek, Ollama'yı kurmayı, GPT-OSS modellerini indirmeyi, davranışı özelleştirmeyi, API aracılığıyla entegre etmeyi ve Apidog ile hata ayıklamayı öğrendiniz. Yapay zeka destekli uygulamalar geliştiriyor veya muhakeme görevleriyle deneyler yapıyor olun, bu kurulum eşsiz esneklik sunar. Parametreleri ayarlamak veya Apidog'un görselleştirmesini kullanmak gibi küçük dokunuşlar, iş akışınızı önemli ölçüde geliştirebilir. Bugün yerel yapay zekayı keşfetmeye başlayın ve GPT-OSS'in potansiyelini ortaya çıkarın!

düğme

API Tasarım-Öncelikli Yaklaşımı Apidog'da Uygulayın

API'leri oluşturmanın ve kullanmanın daha kolay yolunu keşfedin

Ücretsiz Kaydolİndir